通过 Rollout 一致性改进 Group-Based Policy Optimization 的推理能力

研究者提出 RoAR（Rollout-Agreement Reward），将推理一致性加入 GRPO 对验证正确 rollout 的奖励，无需人工推理链、额外采样或单独训练过程评估器。在5个数学推理基准的零样本评测中，1.5B GRPO-RoAR用7K训练样本取得55.5%平均 pass@1，较 GRPO 高6.0个百分点、较 GRPO-CARE 高5.5个百分点。