arXiv · Machine Learning· Yingzhen Yang, Ping Li·· 9 小时前AI 评分37
预条件梯度下降与提前停止训练的过参数化神经网络：插值空间非参数回归的尖锐泛化界
Sharp Generalization for Nonparametric Regression in Interpolation Space by Over-Parameterized Neural Networks Trained with Preconditioned Gradient Descent and Early Stopping
AI 导读
研究证明，采用新型预条件梯度下降（PGD）并提前停止训练的过参数化双层神经网络，在插值空间非参数回归中达到尖锐回归率。训练特征在单位球面均匀采样、目标函数属于 \(s'\ge3\) 的插值空间时，回归率为 \(\mathcal{O}(n^{-2\alpha s'/(2\alpha s'+1)})\)，优于带有 \(\log^2(1/\delta)\) 因子的近最优界。
来源：arXiv · Machine Learning · arxiv.org