CountVideoBench 基准评估视频模型计数偏差
热点事件历史事件
CountVideoBench 基准评估视频模型计数偏差
1 篇报道1 个报道来源7 天前更新
先了解这件事
AI 综述
研究者提出 CountVideoBench，用于评估视频语言模型数视频中物体数量的表现；在该基准的零样本测试中，16个模型的 Exact Match 均未超过27.6%。 基准包含2,600段合成视频，涵盖5至50个物体中的26种数量。每段视频只包含一类静止物体，并采用受控摄像机运动，以减少物体运动和识别能力对计数评估的干扰。测试结果还显示，模型会偏向预测某些整数，且不同模型的准确率随数量变化的模式不同。
AI 根据报道生成 · 1 小时前更新
最新进展10月21日 12:00
CountVideoBench：评估视频语言模型物体计数预测偏差的基准报道时间线
沿着报道，了解事件的不同侧面。
10月21日
- arXiv · Machine LearningCountVideoBench：评估视频语言模型物体计数预测偏差的基准
CountVideoBench提出一个评估视频语言模型物体计数偏差的基准，包含2,600段合成视频，覆盖[5, 50]区间内的26种数量。作者在零样本设置下评估了来自9个架构家族的16个视频语言模型，没有模型的 Exact Match 超过27.6%。结果显示，不同模型的准确率随数量变化呈现不同模式，并会集中预测各自偏好的整数，在相邻数量上的准确率随之下降。