arXiv · Machine Learning· Lexiao Lai, Tianyi Lin, Jiayu Zhang·· 13 小时前AI 评分74
《通过正交化动量进行非光滑优化》研究 Muon 的收敛条件并提出 MAGD
Nonsmooth Optimization via Orthogonalized Momentum
AI 导读
这篇论文研究正交化动量在非光滑优化中的表现，指出对任意固定动量因子 β∈[0,1)，Muon 在步长依赖完整梯度历史时，可能从几乎所有初始化出发都无法逼近凸 Lipschitz 目标的全局最优解。
来源：arXiv · Machine Learning · arxiv.org