arXiv · Machine Learning· Yue He, Jiahui Hu, Shaman Tang, Hua Zhou, Qiman Wu, Menglin Li, Yizhao Wang, Yuheng Zhang, Da Zhu, Zhou Wang, Anhua Liu, Hanlin Chen, Mingyuan Wang, Rui Xin, Yuhua Wei, Shuang Su, Siqi Liu, Kai Yang, Weichao Huang, Hang Zhang, Honggou Yang, Xianming Liu·· 8 小时前AI 评分50
Turing LLM 后训练：校准蒸馏与高效动态 MoE 执行
Turing LLM Post-Training: Calibrated Distillation and Efficient Dynamic-MoE Execution
AI 导读
Turing LLM 团队提出结合校准多教师在线策略蒸馏（C-MOPD）与高效执行路径的动态 MoE 后训练框架，在 Turing-20B-A2B 上实现四领域归一化整合得分 0.9988，各领域保留至少 90.16% 的专家增益。
来源：arXiv · Machine Learning · arxiv.org