arXiv · Machine Learning· Fengkai Yang, Zherui Chen, Xiaohan Wang, Xiaodong Lu, Jiajun Chai, Guojun Yin, Wei Lin, Shuai Ma, Fuzhen Zhuang, Deqing Wang, Yaodong Yang, Jianxin Li, Yikun Ban·· 8 小时前AI 评分55
Your Group-Relative Advantage Is Biased：GRPO 群组相对优势估计存在偏差
Your Group-Relative Advantage Is Biased
AI 导读
该论文分析了基于验证器奖励的强化学习（RLVR）中，GRPO 等群组方法的相对优势估计偏差。在二元奖励和均值中心化条件下，困难提示词存在负向条件均值估计误差，简单提示词则存在正向误差，导致困难题目的正确回答权重偏低、简单题目的错误回答惩罚不足。
来源：arXiv · Machine Learning · arxiv.org