跳到正文
知乎专栏:量子位· 量子位·· 8 小时前AI 评分63

PaperBenchX评测显示GPT-6 Astra论文完整复现率仅为13.98%

ChatGPT踢到铁板了!能破解千禧数学难题,但论文复现率低至13.98%?

AI 导读

UniPat AI发布的PaperBenchX从93篇论文构建93个跨12个研究方向的复现任务,评估Agent能否在隐藏评分标准的条件下重建并执行科学工作流。表现最强的GPT-6 Astra完整复现率为13.98%,评分只认可隔离环境中重放生成的可验证证据。团队同时开源12个测试任务,并维护81个封闭测试任务。

来源:知乎专栏:量子位 · zhuanlan.zhihu.com