有限次迭代下 Muon 的末次梯度收敛条件

Ping Li 和 Vincent Y. F. Tan 分析了有限次 Newton–Schulz 迭代下 Muon 的末次迭代梯度收敛性，结论是收敛取决于稳定化、学习率、动量及梯度噪声条件，不能由算法本身保证。 确定性梯度下，不做输入稳定化时，Muon 即使在光滑凸二次目标上也可能循环；采用正稳定化、动量系数小于 1，并使用足够小的常数学习率，可保证末次梯度收敛。随机梯度下，持续噪声可能使固定学习率和固定动量无法收敛；在有界方差条件下，递减学习率配合递增动量可保证几乎必然和均方末次梯度收敛。多项式速率保证仅适用于密度为 1 的迭代。

AI 根据报道生成 · 53 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。