arXiv · Machine Learning· Ping Li, Vincent Y. F. Tan·· 10 小时前AI 评分43
有限次 Newton-Schulz 迭代下 Muon 的末迭代驻点性
Last-Iterate Stationarity of Muon with Finitely Many Newton-Schulz Iterations
AI 导读
Muon 有限次 Newton-Schulz 迭代的最后迭代梯度收敛性获理论分析，覆盖确定性与随机梯度。确定性下，未稳定化可在光滑凸二次目标上循环；正稳定化配合小于 1 的动量系数及足够小的常数学习率可保证收敛。随机梯度下，持续噪声可阻止固定学习率和动量收敛；递减学习率配合递增动量可实现几乎必然及均方收敛，多项式速率则仅对密度为 1 的迭代有保证。
来源：arXiv · Machine Learning · arxiv.org