Muon-RT 提出无动量优化器以降低大模型训练内存
热点事件持续更新
Muon-RT 提出无动量优化器以降低大模型训练内存
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
Aryan Das、Vinay Kumar Verma 和 Aakansha Mishra 提交 Muon-RT 研究论文，提出一种复用教师模型轨迹的无动量 Muon 优化方法，通过重复利用教师与学生模型的参数位移，取消隐藏权重矩阵独立的动量缓冲区，以降低训练时的持久内存开销。 在 Qwen2.5-7B-Instruct 的自蒸馏微调实验中，Muon-RT 的平均准确率比 AdamW 高 2.6 个百分点、内存占用减少 42%；相比保留动量机制的 Muon，准确率高 5.4 个百分点、内存占用减少 27%。这些结果表明，该方法在这项实验中兼顾了模型准确率与训练内存效率。
AI 根据报道生成 · 2 小时前更新
最新进展11月2日 13:00
MUON-RT：通过复用教师模型轨迹实现 LLM 自蒸馏的无动量 Muon 优化器报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv · Machine LearningMUON-RT：通过复用教师模型轨迹实现 LLM 自蒸馏的无动量 Muon 优化器
MUON-RT 复用教师模型与学生模型的参数位移来消除隐藏权重矩阵的独立动量缓冲区，降低 Muon 优化器的持久训练内存开销。在 Qwen2.5-7B-Instruct 的 Self-Distillation Fine-Tuning 中，其平均准确率比 AdamW 高 2.6 个百分点、内存减少 42%，比动量版 Muon 高 5.4 个百分点、内存减少 27%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。