提交 Hyperball 优化器论文 v2
热点事件持续更新
提交 Hyperball 优化器论文 v2
1 篇报道1 个报道来源8 小时前更新
先了解这件事
报道摘要
研究提出 Hyperball 优化器包装器，通过固定权重矩阵及其优化器更新的 Frobenius 范数，缓解 Muon 相对 AdamW 的预训练收益随模型和数据规模扩大而缩小的问题。在最多 1.2B 参数的 Qwen3 风格模型上，Muon Hyperball 相比权重衰减基线实现 20–30% token 等效加速，并较解耦权重衰减改善跨宽度和深度的学习率迁移。
摘自 arXiv · Machine Learning
最新进展10月28日 12:00
神奇的预训练优化器及其所在之处 II：Hyperball 优化报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv · Machine Learning神奇的预训练优化器及其所在之处 II：Hyperball 优化
研究提出 Hyperball 优化器包装器，通过固定权重矩阵及其优化器更新的 Frobenius 范数，缓解 Muon 相对 AdamW 的预训练收益随模型和数据规模扩大而缩小的问题。在最多 1.2B 参数的 Qwen3 风格模型上，Muon Hyperball 相比权重衰减基线实现 20–30% token 等效加速，并较解耦权重衰减改善跨宽度和深度的学习率迁移。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。