AnytimeReasoner 提出 BRPO 优化不同预算下的推理效率

Penghui Qi 等作者提出 AnytimeReasoner 框架及预算相对策略优化（BRPO）方法，旨在提升大语言模型在不同 token 预算下的推理效率与灵活性。框架通过截断思考过程并生成对应摘要，引入可验证的密集奖励，优化推理过程和摘要策略。 BRPO 旨在降低训练方差、提高训练效率。在数学推理实验中，该方法在不同思考预算和先验分布下均优于 GRPO，显示出更好的训练与 token 效率。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。