AIMER提出免校准的MoE专家剪枝方法

Zongfang Liu 等作者提出 AIMER，一种无需校准数据、与具体任务无关的混合专家模型（MoE）专家重要性评估与剪枝方法。该方法通过计算专家权重绝对均值与均方根的比值进行重要性排序，以识别具有不同权重分布特征的专家，从而支持专家筛选与剪枝。 在参数规模为 7B 至 47B、采用不同架构的 MoE 模型及 16 个基准测试中，作者称 AIMER 的多任务能力平衡优于现有免校准剪枝方法，也优于使用通用 C4 数据集进行校准的强基线。对全部专家完成评分仅需 0.22 至 2.06 秒，体现了该方法在免校准评估和计算效率方面的优势。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。