研究揭示 MoE 专家剪枝中替代算子与路由策略的性能差异

研究人员 Ezza Ali、Sehrish Bibi、Momina Moetesum 和 Faisal Shafait 发布论文，比较免训练 MoE 专家剪枝中不同替代算子与路由策略的效果，发现不存在适用于所有模型的最优方案，幸存专家的 gate scale 是影响剪枝性能的重要因素。 论文提出 tilted novice 算子，通过低秩映射近似被剪除专家的输入。在 OLMoE 和 Moonlight 上，剪枝率为 50% 时，该方法比常数替代算子分别提升 3.45 和 1.37 个百分点，但额外增加 1.2%–1.8% 参数；在 DeepSeek-V2-Lite 上，基于训练所得 scale 的重新路由效果更好。另有实验发现，剪枝率为 25% 时，常数替代方案仍保留稠密模型 92%–97% 的多项选择题准确率，但 GSM8K 得分仅保留 5%–65%，代码任务得分仅保留 0%–17%，说明剪枝对不同任务的影响差异显著。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。