arXiv · Machine Learning· Weiyan Zhao, Sunny Yang·· 8 小时前AI 评分49
执行日志会左右视觉语言模型对机器人进度的判断
Execution Logs Sway VLM Judges of Robot Progress
AI 导读
Gemini、Qwen 和 GPT 评判机器人视频时,旁置执行日志会改变其对机器人进度的判断。在机器人进展倒退的片段中,声称其正在进步的日志比中性日志多使正确判断翻转10至35个百分点。一行提示日志可能有误的警告可消除大部分影响;特定虚假“任务完成”说法会翻转Qwen一半正确判断,无关日志约为十分之一,且对Gemini没有可检测影响。
来源:arXiv · Machine Learning · arxiv.org