arXiv · Machine Learning· Marc Chapus, Carlos Crispim-Junior, V\'eronique Eglin, Atilla Baskurt·· 7 天前AI 评分62
CountVideoBench：评估视频语言模型物体计数预测偏差的基准
CountVideoBench: A Benchmark to Evaluate Prediction Biases on the Object Counting task by Video-Language Models
AI 导读
CountVideoBench提出一个评估视频语言模型物体计数偏差的基准，包含2,600段合成视频，覆盖[5, 50]区间内的26种数量。作者在零样本设置下评估了来自9个架构家族的16个视频语言模型，没有模型的 Exact Match 超过27.6%。结果显示，不同模型的准确率随数量变化呈现不同模式，并会集中预测各自偏好的整数，在相邻数量上的准确率随之下降。
来源：arXiv · Machine Learning · arxiv.org