ReLU 神经网络对光滑函数的最优逼近

研究证明，除一维 Lipschitz 情形外，ReLU 神经网络对 Hölder 函数类的逼近可达到信息论效率极限。对任意 \(s>0\)、\(D\ge1\)，宽度 \(O(N)\)、深度 \(O(L)\)、参数幅度 \(O(1)\) 的网络可实现阶为 \((N^2L^2\log N)^{-s/D}\) 的一致逼近误差，且宽度与深度无需满足特定关系。