研究提出 MoE 专家剪枝评分框架及两项新指标
热点事件持续更新
研究提出 MoE 专家剪枝评分框架及两项新指标
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
Zongfang Liu 等研究作者提出面向 One-Shot MoE 专家剪枝的系统化评分框架,并设计 Mean Activation Norm(MAN)和 Mean Squared Activation Norm(MSAN)两项新指标。该框架从路由频率、门控权重和激活强度三个维度建立评分标准,明确不同剪枝指标的选择原则。 在4种代表性 MoE 模型和16项基准测试中,MAN 和 MSAN 在不针对特定任务的设置下平均排名前两位,相比最强基线平均提升4.0分,最高提升8.8分。该研究已被 EMNLP 2026 Findings 接收。
AI 根据报道生成 · 2 小时前更新
最新进展11月2日 13:00
如何为 One-Shot MoE 专家剪枝评分:系统化建模与选择原则报道时间线
沿着报道,了解事件的不同侧面。
11月2日
- arXiv · Machine Learning如何为 One-Shot MoE 专家剪枝评分:系统化建模与选择原则
研究提出 One-Shot MoE 专家剪枝的系统化建模框架,从路由频率、门控权重和激活强度三个维度建立剪枝标准选择原则,并提出 Mean Activation Norm(MAN)和 Mean Squared Activation Norm(MSAN)两项新指标。在4种代表性 MoE 模型和16项基准测试中,两项指标取得平均排名前两位,平均性能提升4.0分,最高提升8.8分。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。