arXiv · Machine Learning· Ezza Ali, Sehrish Bibi, Momina Moetesum, Faisal Shafait·· 8 小时前AI 评分39
免训练 MoE 专家剪枝研究：替换算子与路由语义如何影响模型性能
What We Keep of What We Forget: Replacement Operators and Routing Semantics in Training-Free MoE Expert Pruning
AI 导读
研究人员比较了 OLMoE、DeepSeek-V2-Lite 和 Moonlight 等模型中的三类 MoE 专家替换算子，发现幸存专家的 gate scale 是影响剪枝效果的关键因素。
来源：arXiv · Machine Learning · arxiv.org