arXiv · Machine Learning· Hyuk Kwon, Jaebyeong Jeon, Hyeonseo Jang, Kibok Lee·· 10 小时前AI 评分39
排名不错，选择却不佳？重新思考仅凭文本的视觉语言模型（LOVM）选择
Good Rankings, Poor Choices? Rethinking Language-Only Vision-Language Model Selection
AI 导读
研究重新审视仅凭文本选择视觉语言模型（LOVM）的评估协议，指出排序指标不能直接衡量所选模型表现，并引入简单遗憾（SR）和 ORNR。其免训练方法 TC-ESR 在 22 个目标任务、43 个 VLM 上取得所有对比方法中最低的平均 SR 与 ORNR；研究还识别并修正了原排名评估协议中的两类目标性能泄漏。
来源：arXiv · Machine Learning · arxiv.org