arXiv · Machine Learning· Zongfang Liu, Jinghui Zhang, Zijian Ma, Guangyi Chen, Xin Yuan·· 8 小时前AI 评分48
如何为 One-Shot MoE 专家剪枝评分：系统化建模与选择原则
How to Score Experts for One-Shot MoE Expert Pruning: A Systematic Formulation and Selection Principle
AI 导读
研究提出 One-Shot MoE 专家剪枝的系统化建模框架，从路由频率、门控权重和激活强度三个维度建立剪枝标准选择原则，并提出 Mean Activation Norm（MAN）和 Mean Squared Activation Norm（MSAN）两项新指标。在4种代表性 MoE 模型和16项基准测试中，两项指标取得平均排名前两位，平均性能提升4.0分，最高提升8.8分。
来源：arXiv · Machine Learning · arxiv.org