arXiv · Machine Learning· Shuchen Zhu, Rizhen Hu, Mingze Wang, Mou Sun, Xue Wang, Kun Yuan, Zaiwen Wen·· 9 小时前AI 评分38
LITE 通过增强平坦方向动力学加速 LLM 预训练
Accelerating LLM Pre-Training through Flat-Direction Dynamics Enhancement
AI 导读
LITE 提出沿损失景观的平坦方向提高 Hessian 阻尼系数和学习率，以加速 LLM 预训练。实验显示，该策略在 Dense 和 MoE 架构、130M 至 1.3B 参数规模及 C4、Pile 数据集上加速了 Muon 和 SOAP。理论分析表明，LITE 可促进各向异性损失景观中平坦方向的更快收敛。
来源：arXiv · Machine Learning · arxiv.org