跳到正文
arXiv · Machine Learning· Yujun Wang, Yiqi Gu·· 8 小时前AI 评分35

线性近似类的通用频率原理:梯度下降训练中的频率学习规律

General Frequency Principle for Linear Approximation Classes

AI 导读

研究证明,在线性近似类的梯度下降训练中,在适当假设下,学习器在高频处的振幅相对于目标振幅会在整个训练过程中一致趋于零。该研究建立了低频优先学习的充分条件,同时指出低频并不总是收敛更快,特定条件下高频分量可能需要更长时间才能学会。Legendre 基与三角基数值实验验证了理论结果。

来源:arXiv · Machine Learning · arxiv.org