arXiv · Machine Learning· Conor Igoe, Gabriel Grand, Zane Koch, Albert Bou, Eli Moss, Michaela M. Hinks, Samuel G. Rodriques, Andrew White, Siddharth Narayanan·· 8 小时前AI 评分60
语言模型能否识别有说服力的科学证据？EDB-Bio 基准揭示模型证据判断与校准能力
Do Language Models Know What Compelling Scientific Evidence Looks Like?
AI 导读
研究团队发布 EDB-Bio 科学推理基准，评估语言模型如何根据多项实验结果判断科学假设的真实性。基准包含96k个实验序列，覆盖药物扰动转录组学、CRISPR 筛选和人类全基因组关联研究（GWAS）；未经专门训练的开放权重模型和前沿模型普遍表现出系统性置信不足，Brier 分数与简单基准率预测器相当。
来源：arXiv · Machine Learning · arxiv.org