EDB-Bio基准测试语言模型的科学证据判断能力

研究团队发布 EDB-Bio 科学推理基准，用于评估语言模型能否根据多项实验结果判断科学假设是否成立。基准包含约9.6万个实验序列，覆盖药物扰动转录组学、CRISPR筛选和人类全基因组关联研究（GWAS）三类数据。 测试显示，未经专门训练的开放权重模型和前沿模型普遍存在系统性置信不足的问题，其 Brier 分数与简单基准率预测器相当。这表明，模型在综合实验结果、判断科学假设可信度方面仍面临挑战，单纯给出判断并不意味着能够准确评估证据的说服力。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。