arXiv · Machine Learning· Shangjian Yin, Yu Fu, Yue Dong, Zhouxing Shi·· 9 小时前AI 评分64
强化学习如何在可验证与开放式领域间泛化？训练位置与奖励目标研究
Where and What to Reward? Understanding Generalization Between Verifiable and Open-Ended Domains in Reinforcement Learning
AI 导读
这项研究通过受控实验比较 RLVR 与 RLHF 的跨领域迁移，发现开放式提示上的 RLHF 能提升对话能力，并在推理和编程上带来较大收益。RLVR 能提升推理，但其开放式对话收益趋于平台，远低于 RLHF。实验在多个基础模型上固定优化器和训练提示数量，仅改变提示来源（数学、多领域、聊天或混合）及奖励类型。
来源：arXiv · Machine Learning · arxiv.org