GRPO强验证器审计抑制奖励作弊
热点事件持续更新
GRPO强验证器审计抑制奖励作弊
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
Shurun Li等提出在GRPO训练中，优先审计弱验证通过次数较少的完整组，以分配有限的强验证器预算；论文称，这一策略在LeetCode和Countdown-Code中将奖励作弊压至接近零，而同惩罚、同预算的随机审计未能做到，且使用了更多标签。 作者还报告，冻结面板上的优势质量符号在39次训练中有33次能预测该策略是否抑制作弊；在16次预注册实验中，这一预测命中13次。
AI 根据报道生成 · 59 分钟前更新
最新进展10月28日 12:00
《Audit Where Hacks Pay》：GRPO 中针对奖励劫持的预算化强验证器审计报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv · Machine Learning《Audit Where Hacks Pay》：GRPO 中针对奖励劫持的预算化强验证器审计
论文研究如何在 GRPO 中分配有限的强验证器预算，以抑制利用廉价检查的奖励劫持。作者提出优先审计弱通过次数较少的完整组的 low-pass budgeted audits（LB），在 39 次训练中有 33 次可由冻结面板上的优势质量符号预测是否能抑制 hacking，其中包括 16 次预注册实验中的 13 次。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。