执行日志会影响模型对机器人进展的判断

研究者 Weiyan Zhao 和 Sunny Yang 发现，Gemini、Qwen 和 GPT 评判机器人视频时，旁置执行日志会改变它们对机器人进展的判断；在实际倒退的片段中，声称机器人正在进步的日志比中性日志多使正确判断翻转 10 至 35 个百分点。 一行提示日志可能有误的警告可消除大部分影响。特定虚假的“任务完成”说法会翻转 Qwen 一半原本正确的判断，无关日志约翻转十分之一；对 Gemini 则未检测到这类影响。

AI 根据报道生成 · 44 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。