arXiv · Machine Learning· Shurun Li, Michael Hua Wang, Haibo Zeng, Long Wang·· 8 小时前AI 评分53
《Audit Where Hacks Pay》：GRPO 中针对奖励劫持的预算化强验证器审计
Audit Where Hacks Pay: Budgeted Strong-Verifier Audits Against Reward Hacking in GRPO
AI 导读
论文研究如何在 GRPO 中分配有限的强验证器预算，以抑制利用廉价检查的奖励劫持。作者提出优先审计弱通过次数较少的完整组的 low-pass budgeted audits（LB），在 39 次训练中有 33 次可由冻结面板上的优势质量符号预测是否能抑制 hacking，其中包括 16 次预注册实验中的 13 次。
来源：arXiv · Machine Learning · arxiv.org