arXiv · Machine Learning· Xiuyi Lou, Zicheng Xu, Yu-Neng Chuang, Hoang Anh Duy Le, Zhaozhuo Xu, Guanchu Wang, Vladimir Braverman·· 23 小时前AI 评分63
TACO：面向尾部风险校准的 RLVR 信用分配方法
Right Answer, Wrong Tokens: Tail-Aware Credit Calibration for RLVR
AI 导读
论文提出 TACO（Tail-Aware Credit calibration），通过策略对采样 token 的局部预期评估其稀有度，并据此降低高尾部风险 token 获得的正向信用，同时保留非零权重。实验覆盖 4 个大语言模型和 8 个推理基准，结果显示 TACO 持续优于 GRPO 风格基线，并改善长周期强化学习中的训练稳定性。
来源：arXiv · Machine Learning · arxiv.org