arXiv · Machine Learning· Jingjie Ning, Xueqi Li, Yibo Kong·· 13 小时前AI 评分58
SearchHorizonBench：面向 AI 智能体搜索价值的基准测试
SearchHorizonBench: A Benchmark for Search Value in AI Agents
AI 导读
SearchHorizonBench 提出用于学习和评估 AI 智能体搜索价值的基准，包含 3,168 个问题和 45,632 次执行。在 1,632 个留出问题上，历史校准使 Brier 误差降低 16.2%，但测试中的历史估计器对搜索收益点估计方差的解释不足 2%。在参考 token 价格下，免费选择观测相对最佳恒定动作带来 2.49 个百分点的效用机会，主要由搜索收益信息驱动。
来源：arXiv · Machine Learning · arxiv.org