arXiv · Machine Learning· Kaiyue Wen, Xingyu Dang, Kaifeng Lyu, Tengyu Ma, Percy Liang·· 9 小时前AI 评分46
神奇的预训练优化器及其所在之处 II：Hyperball 优化
Fantastic Pretraining Optimizers and Where to Find Them II: Hyperball Optimization
AI 导读
研究提出 Hyperball 优化器包装器，通过固定权重矩阵及其优化器更新的 Frobenius 范数，缓解 Muon 相对 AdamW 的预训练收益随模型和数据规模扩大而缩小的问题。在最多 1.2B 参数的 Qwen3 风格模型上，Muon Hyperball 相比权重衰减基线实现 20–30% token 等效加速，并较解耦权重衰减改善跨宽度和深度的学习率迁移。
来源：arXiv · Machine Learning · arxiv.org