arXiv · Machine Learning· Egor Shulgin·· 8 小时前AI 评分34
理解机器学习中的实用优化
Understanding Practical Optimization in Machine Learning
AI 导读
这篇博士论文分析机器学习实用优化的真实目标与更新，涵盖子模型训练、隐私优化及 Muon 类方法。研究指出，Independent Subnetwork Training 更新有偏，Model-Agnostic Sparsified Training 可获无偏梯度与收敛保证；Muon 正交化精度降低时需减小步长。
来源：arXiv · Machine Learning · arxiv.org