arXiv · Machine Learning· Hu Xu, Zhaolong Xing, Congcong Liu, Jiaxing Wang, Zhida Jiang, Junshi Huang, Zhen Chen, Jianfeng Xu·· 23 小时前AI 评分73
论文重新思考高稀疏度 LLM 剪枝校准：从单一来源到能力覆盖
Rethinking Calibration for High-Sparsity LLM Pruning: From Single Sources to Capability Coverage
AI 导读
该研究将高稀疏度 LLM 剪枝的校准集选择定义为能力覆盖问题，提出固定预算下的四路均衡混合 Balanced。Balanced 相比 C4 的优势从 30% 稀疏度的 +4.6 个百分点扩大到 60% 的 +18.8 个百分点，并在不同模型规模、另一模型家族及留出基准上保持。
来源：arXiv · Machine Learning · arxiv.org