跳到正文
热点事件持续更新

研究提出 MoE 专家剪枝评分框架及两项新指标

1 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

Zongfang Liu 等研究作者提出面向 One-Shot MoE 专家剪枝的系统化评分框架,并设计 Mean Activation Norm(MAN)和 Mean Squared Activation Norm(MSAN)两项新指标。该框架从路由频率、门控权重和激活强度三个维度建立评分标准,明确不同剪枝指标的选择原则。 在4种代表性 MoE 模型和16项基准测试中,MAN 和 MSAN 在不针对特定任务的设置下平均排名前两位,相比最强基线平均提升4.0分,最高提升8.8分。该研究已被 EMNLP 2026 Findings 接收。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月2日
  1. arXiv · Machine Learning
    如何为 One-Shot MoE 专家剪枝评分:系统化建模与选择原则

    研究提出 One-Shot MoE 专家剪枝的系统化建模框架,从路由频率、门控权重和激活强度三个维度建立剪枝标准选择原则,并提出 Mean Activation Norm(MAN)和 Mean Squared Activation Norm(MSAN)两项新指标。在4种代表性 MoE 模型和16项基准测试中,两项指标取得平均排名前两位,平均性能提升4.0分,最高提升8.8分。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。