arXiv · Machine Learning· Chenmu Zhang, Levi Felix, Jun-Jie Zhang, Xingfu Li, Xuelian Jiang, Tao Jiang, Subhendu Mishra, Xixi Qin, Boris Yakobson·· 12 小时前AI 评分60
CompMat-Bench：评测AI智能体计算材料科学能力的基准
CompMat-Bench: Benchmarking AI Agents for Computational Materials Science
AI 导读
论文提出CompMat-Bench，包含94项源自近期计算材料研究的任务，通过预先复现实验步骤和结果，避免评测时重复昂贵模拟。基准使用固定规则而非LLM评审，并覆盖单任务与工作流、完整与减少方法指导四种条件；三种LLM智能体在完整指导的单任务上通过率为66.0-90.4%。
来源：arXiv · Machine Learning · arxiv.org