arXiv · Machine Learning· Cheng Gui, Yihua Shao, Lei Li, Jingcai Guo, Maolin Wang·· 8 小时前AI 评分48
尾部校准揭示 Best-of-N 选择中的有限预算奖励黑客：是否发生、发生在哪里？
Whether or Where? Tail Calibration Signals Finite-Budget Reward Hacking in Best-of-N Selection
AI 导读
研究发现，Best-of-N（BoN）性能是否随预算增加而下降，取决于奖励校准曲线尾部是否下弯及其位置。真实候选池中的尾部失效罕见，且均出现在代码生成；留出集尾部校准统计量可预测交叉拟合预算上限的收益。该上限与 Soft-BoN 基线具竞争力，尾部校准可补充排序指标，且不受奖励分数单调缩放影响。
来源：arXiv · Machine Learning · arxiv.org