Newest papers

CountVideoBench: A Benchmark to Evaluate Prediction Biases on the Object Counting task by Video-Language Models

Marc Chapus, Carlos Crispim-Junior, Véronique Eglin, Atilla Baskurt · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28356 · open-access PDF

Spanish

El conteo de objetos en los videos sigue siendo una capacidad poco caracterizada de los modelos multimodales de gran lenguaje. Las preguntas de conteo están incluidas en muchos de los criterios de referencia de VideoQA existentes, pero las distribuciones de conteo de verdad fundamental en estos criterios están fuertemente distorsionadas hacia valores pequeños. A través de los nueve criterios de referencia que encuestamos, el conteo mediano de verdad fundamental es de no más de cinco, y los tres valores más frecuentes juntos representan entre el 45% y el 93% de los vídeos. La exactitud media resultante es entonces dominada por los conteos más frecuentes; un prejuicio dependiente del valor en un conteo raro contribuye de manera insignificante a la media.

Machine translation (Meta M2M100); the English original follows.

Abstract

Object counting in videos remains a poorly characterized capability of multimodal large language models. Counting questions are included in many existing VideoQA benchmarks, but the ground-truth count distributions in these benchmarks are heavily skewed toward small values. Across the nine benchmarks we survey, the median ground-truth count is at most five, and the three most frequent values together account for between 45% and 93% of the videos. The resulting mean accuracy is then dominated by the most frequent counts; a value-dependent bias at a rare count contributes negligibly to the avera

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange