研究评估大语言模型的分子预测与不确定性判断能力

研究作者 Matthias Busch 等人评估了 7 个前沿大语言模型利用上下文示例预测分子性质及自我报告预测不确定性的能力，并与使用相同分子训练的传统模型比较。结果显示，在 3 个未发现训练数据污染的数据集上，增加上下文示例能够提升所有模型的预测表现；使用 30 个示例时，准确率最高的模型超过了所有传统基线模型。 研究同时发现，大语言模型自报告的不确定性识别能力有限：其对预测错误的排序相关性最高为 0.46，与传统基线模型的不确定性估计大致相当。第四个数据集 ESOL 被多数模型记忆，在该数据集上，增加上下文示例没有带来预测改善，模型对能够回忆出数值的分子报告了更低的不确定性。这表明，模型的预测优势受到训练数据污染影响，而自我报告的不确定性尚不能可靠反映预测错误。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。