Hugging Face Blog·· 13 小时前精选AI 评分76
Ai2 发布 Old Ideas, Novel Problems 研究，揭示 LLM 判断科研创意新颖性的可靠性问题
Can we trust LLMs to judge whether a research idea is novel?
AI 导读
Ai2 发布《Old Ideas, Novel Problems》研究及配套基准、数据、代码和自动化评估集构建流程，测试大语言模型判断科研创意新颖性的可靠性。
推荐理由
研究通过两组研究创意基准揭示了 LLM 新颖性评估对提示词和模型设置的敏感性，并比较了不同评估方案的准确率与成本，为评估 AI 生成科研创意提供了可复用的测试依据。
来源：Hugging Face Blog · huggingface.co