HA-DW 方法针对 GRPO 优势估计偏差提出自适应修正

论文作者团队指出，GRPO 等群组相对优势估计方法在二元奖励和均值中心化条件下存在系统性偏差：困难题目的条件均值估计误差偏负，导致正确回答获得的训练权重偏低；简单题目的误差偏正，导致错误回答受到的惩罚不足。针对这一问题，团队提出历史感知自适应难度加权方法（HA-DW），根据动态变化的难度锚点和训练过程调整优势估计权重。理论分析及五个数学推理基准上的实验表明，将 HA-DW 集成到 GRPO 及其变体后，模型表现均得到改善。该方法旨在修正不同难度题目上的优势估计偏差。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。