高稀疏度剪枝校准改用能力覆盖
热点事件持续更新
高稀疏度剪枝校准改用能力覆盖
1 篇报道1 个报道来源23 小时前更新
先了解这件事
AI 综述
Hu Xu 等作者发布论文修订版,提出在固定预算下将四类能力均衡混合的 Balanced 校准集;论文报告称,该方案相较 C4 在 30% 稀疏度下提升 4.6 个百分点,在 60% 稀疏度下提升 18.8 个百分点,且在不同模型规模、另一模型家族和留出基准上保持优势。 这项研究将高稀疏度大语言模型剪枝的校准集选择,从依赖单一数据来源转为覆盖多种能力。上述结果来自论文 v4 对 Balanced 方案的实验比较。
AI 根据报道生成 · 2 小时前更新
最新进展10月16日 12:00
论文重新思考高稀疏度 LLM 剪枝校准:从单一来源到能力覆盖报道时间线
沿着报道,了解事件的不同侧面。
10月16日
- arXiv · Machine Learning论文重新思考高稀疏度 LLM 剪枝校准:从单一来源到能力覆盖
该研究将高稀疏度 LLM 剪枝的校准集选择定义为能力覆盖问题,提出固定预算下的四路均衡混合 Balanced。Balanced 相比 C4 的优势从 30% 稀疏度的 +4.6 个百分点扩大到 60% 的 +18.8 个百分点,并在不同模型规模、另一模型家族及留出基准上保持。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。