Newest papers

CountVideoBench: A Benchmark to Evaluate Prediction Biases on the Object Counting task by Video-Language Models

Marc Chapus, Carlos Crispim-Junior, Véronique Eglin, Atilla Baskurt · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28356 · open-access PDF

French

Le comptage d'objets dans les vidéos reste une capacité peu caractérisée des modèles de grands langages multimodaux. Les questions de comptage sont incluses dans de nombreux critères de référence VideoQA existants, mais les répartitions de comptage de la vérité fondamentale dans ces critères de référence sont fortement déformées vers de petites valeurs. Sur les neuf critères de référence que nous enquêtons, le comptage de la vérité fondamentale médiane est au maximum cinq, et les trois valeurs les plus fréquentes représentent ensemble entre 45% et 93% des vidéos. La précision moyenne résultante est alors dominée par les comptes les plus fréquents; un biais de valeur dépendant d'un nombre rare contribue négligeablement à la moyenne

Machine translation (Meta M2M100); the English original follows.

Abstract

Object counting in videos remains a poorly characterized capability of multimodal large language models. Counting questions are included in many existing VideoQA benchmarks, but the ground-truth count distributions in these benchmarks are heavily skewed toward small values. Across the nine benchmarks we survey, the median ground-truth count is at most five, and the three most frequent values together account for between 45% and 93% of the videos. The resulting mean accuracy is then dominated by the most frequent counts; a value-dependent bias at a rare count contributes negligibly to the avera

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange