提出仅凭参考答案训练推理模型的 RAL 方法

Albert Bou 等人提出 Reinforced Adversarial Learning（RAL），通过联合训练的 LLM Judge 将参考答案转化为奖励信号，仅凭参考答案对推理模型进行 on-policy 强化学习后训练。该方法不需要参考答案之外的奖励监督，验证器仅用于评估。 论文称，在 Judge 能力足够强、训练量足够的条件下，RAL 的效果可以达到直接采用可验证奖励强化学习（RLVR）的水平。研究探索了以参考答案替代直接验证奖励的推理模型训练路径，但这一效果依赖 Judge 能力和训练规模。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。