FABench 发布预测智能体历史回测基准

Yuxuan Wang、Yishu Wang 和 Jiaqi Deng 发布 FABench，一个面向预测智能体的可扩展历史回测环境及基准，首批包含九个领域的 287 个问题，并开放代码、数据和档案环境供研究使用。 FABench 通过自动化流程发现历史事件、生成预测问题并判定结果。智能体可以在结合离线历史档案与实时网页搜索的环境中自主研究，实时搜索内容经过时间泄漏筛查，以减少利用未来信息影响历史回测的问题。 研究团队使用八种近期模型构建预测智能体进行评估，称在所有测试的检索设置下，检索都改善了这八种模型的 Brier 分数。该结果表明，检索能力是这套基准评估预测智能体表现时的重要因素。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。