arXiv · Machine Learning· Zhenxing Dou, Kun He, Mingyang Yi, Yong Liu·· 10 小时前AI 评分40
SRA:通过选择性残差适配增强 LLM 推理能力
SRA: Selective Residual Adaptation for LLM Reasoning Enhancement
AI 导读
SRA(Selective Residual Adaptation)提出无需运行时调用教师模型的插件式框架,通过局部残差校准增强蒸馏小模型的多步推理能力。在 Qwen3 0.6B 至 4B 模型的数学基准测试中,SRA 将平均 Pass@16 最高提升 4.37 个百分点,同时保持通用能力。
来源:arXiv · Machine Learning · arxiv.org