arXiv · Machine Learning· Penghui Qi, Zichen Liu, Tianyu Pang, Chao Du, Wee Sun Lee, Min Lin·· 8 小时前AI 评分41
AnytimeReasoner 通过预算相对策略优化提升大语言模型的任意时长推理效率
Optimizing Anytime Reasoning via Budget Relative Policy Optimization
AI 导读
AnytimeReasoner 提出面向不同 token 预算的任意时长推理框架，通过截断思考过程并生成对应摘要，引入可验证的密集奖励，优化推理过程与摘要策略。在此基础上，提出预算相对策略优化（BRPO）以降低方差、提升训练效率；数学推理实验中，该方法在不同思考预算和先验分布下均优于 GRPO。
来源：arXiv · Machine Learning · arxiv.org