清华团队推出科研智能体基准 OSWorld-Science
热点事件持续更新
清华团队推出科研智能体基准 OSWorld-Science
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
清华大学研究团队牵头推出面向真实科研场景的计算机使用智能体评测基准及配套基础设施 OSWorld-Science,并用它评测 12 个视觉语言模型;这些模型在 146 项任务上的平均得分为 34.3%,反映的是任务完成程度,不等同于成功率。 该基准覆盖 7 大科学领域和 14 种科研软件配置,任务由专家设计,最终依据任务结束后的文件产物与应用状态评分。
AI 根据报道生成 · 2 小时前更新
最新进展10月13日 10:59
清华团队推出 OSWorld-Science,科研软件智能体在146项任务上平均得分34.3%报道时间线
沿着报道,了解事件的不同侧面。
10月13日
- 知乎专栏:机器之心清华团队推出 OSWorld-Science,科研软件智能体在146项任务上平均得分34.3%
清华大学研究团队牵头推出 OSWorld-Science,覆盖7大科学领域、14种科研软件配置的146项任务,并对12个视觉语言模型进行评测,平均任务得分为34.3%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。