arXiv · Machine Learning· Aryan Das, Vinay Kumar Verma, Aakansha Mishra·· 8 小时前AI 评分37
MUON-RT：通过复用教师模型轨迹实现 LLM 自蒸馏的无动量 Muon 优化器
MUON-RT Reusing the Teacher's Trajectory for Momentum-Free Muon for LLM Self-Distillation
AI 导读
MUON-RT 复用教师模型与学生模型的参数位移来消除隐藏权重矩阵的独立动量缓冲区，降低 Muon 优化器的持久训练内存开销。在 Qwen2.5-7B-Instruct 的 Self-Distillation Fine-Tuning 中，其平均准确率比 AdamW 高 2.6 个百分点、内存减少 42%，比动量版 Muon 高 5.4 个百分点、内存减少 27%。
来源：arXiv · Machine Learning · arxiv.org