LITE论文更新至v2并报告预训练加速
热点事件持续更新
LITE论文更新至v2并报告预训练加速
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
Shuchen Zhu等作者已将《Accelerating LLM Pre-Training through Flat-Direction Dynamics Enhancement》提交至v2。论文提出LITE，在损失景观的平坦方向提高Hessian阻尼系数和学习率，以加速预训练。 作者报告称，LITE在Dense和MoE架构、1.3亿至13亿参数规模及C4、Pile数据集的实验中加速了Muon和SOAP；理论分析则显示，该方法可促进各向异性损失景观中平坦方向更快收敛。
AI 根据报道生成 · 52 分钟前更新
最新进展10月28日 12:00
LITE 通过增强平坦方向动力学加速 LLM 预训练报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv · Machine LearningLITE 通过增强平坦方向动力学加速 LLM 预训练
LITE 提出沿损失景观的平坦方向提高 Hessian 阻尼系数和学习率，以加速 LLM 预训练。实验显示，该策略在 Dense 和 MoE 架构、130M 至 1.3B 参数规模及 C4、Pile 数据集上加速了 Muon 和 SOAP。理论分析表明，LITE 可促进各向异性损失景观中平坦方向的更快收敛。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。