arXiv · Machine Learning· Bowen Xu, Boyu Chen·· 8 小时前精选AI 评分76
Harness 修复了什么？一项关于可见性、基线充分性与评测缺陷的预注册研究
What Does a Harness Repair? A Preregistered Study of Visibility, Baseline Adequacy and Evaluation Defects
AI 导读
Bowen Xu 和 Boyu Chen 报告了一项预注册研究，分析 harness search 得分提升中的可见性、基线不足与评测缺陷。研究覆盖 1.7B 至 8B 的三个模型和 Qwen3-14B；关闭 thinking 在 12 个模型基准单元中的 7 个提升了准确率，主要来自此前没有可读答案的问题。
推荐理由
论文把 harness 搜索的得分提升拆解为可见性、基线和评测缺陷，并用预注册结果量化这些来源，便于校验评测结论的可靠性。
来源：arXiv · Machine Learning · arxiv.org