arXiv · Machine Learning· Zongfang Liu, Guangyi Chen, Yifan Shen, Shengkun Tang, Huan Wang, Xin Yuan·· 8 小时前AI 评分47
AIMER：一种无需校准、任务无关的 MoE 专家剪枝方法
AIMER: Calibration-Free Task-Agnostic MoE Expert Pruning
AI 导读
AIMER 提出一种无需校准数据的 MoE 专家重要性评估方法，通过专家权重的绝对均值与均方根之比进行排序，实现任务无关的专家剪枝。在 7B 至 47B 的不同架构 MoE 模型和 16 个基准测试中，其多任务能力平衡优于现有免校准方法及基于 C4 校准的强基线。全部专家评分仅需 0.22–2.06 秒。
来源：arXiv · Machine Learning · arxiv.org