梯度下降中的一般频率原理得到理论证明

Yujun Wang 和 Yiqi Gu 提出并证明了有限线性逼近类在梯度下降训练中的一般频率原理：在适当假设下，学习器在高频处的振幅相对于目标振幅，会在整个训练过程中一致趋于零。这为梯度下降训练中的高频抑制现象提供了理论解释。 研究还建立了低频优先学习的充分条件，涵盖单频目标分别训练和两个频率分量在同一训练过程中共同学习的情况。但低频并不总是收敛更快，在特定条件下，高频分量可能需要更长时间才能学会。基于 Legendre 基和三角基的数值实验验证了理论结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。