跳到正文
热点事件持续更新

高稀疏度剪枝校准改用能力覆盖

1 篇报道1 个报道来源23 小时前更新

先了解这件事

AI 综述

Hu Xu 等作者发布论文修订版,提出在固定预算下将四类能力均衡混合的 Balanced 校准集;论文报告称,该方案相较 C4 在 30% 稀疏度下提升 4.6 个百分点,在 60% 稀疏度下提升 18.8 个百分点,且在不同模型规模、另一模型家族和留出基准上保持优势。 这项研究将高稀疏度大语言模型剪枝的校准集选择,从依赖单一数据来源转为覆盖多种能力。上述结果来自论文 v4 对 Balanced 方案的实验比较。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月16日
  1. arXiv · Machine Learning
    论文重新思考高稀疏度 LLM 剪枝校准:从单一来源到能力覆盖

    该研究将高稀疏度 LLM 剪枝的校准集选择定义为能力覆盖问题,提出固定预算下的四路均衡混合 Balanced。Balanced 相比 C4 的优势从 30% 稀疏度的 +4.6 个百分点扩大到 60% 的 +18.8 个百分点,并在不同模型规模、另一模型家族及留出基准上保持。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。