Newest papers

CountVideoBench: A Benchmark to Evaluate Prediction Biases on the Object Counting task by Video-Language Models

Marc Chapus, Carlos Crispim-Junior, Véronique Eglin, Atilla Baskurt · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28356 · open-access PDF

Portuguese

A contagem de objetos em vídeos continua a ser uma capacidade pouco caracterizada de modelos multimodais de grandes idiomas. As perguntas de contagem estão incluídas em muitos dos benchmarks existentes do VideoQA, mas as distribuições de contagem de verdade básica nesses benchmarks estão fortemente distorcidas em direção a valores pequenos. Em todos os nove benchmarks que analisamos, a contagem de verdade básica média é de no máximo cinco, e os três valores mais frequentes juntos representam entre 45% e 93% dos vídeos. A precisão média resultante é então dominada pelos contagens mais frequentes; um viés dependente de valor em uma contagem rara contribui de forma insignificante para a média

Machine translation (Meta M2M100); the English original follows.

Abstract

Object counting in videos remains a poorly characterized capability of multimodal large language models. Counting questions are included in many existing VideoQA benchmarks, but the ground-truth count distributions in these benchmarks are heavily skewed toward small values. Across the nine benchmarks we survey, the median ground-truth count is at most five, and the three most frequent values together account for between 45% and 93% of the videos. The resulting mean accuracy is then dominated by the most frequent counts; a value-dependent bias at a rare count contributes negligibly to the avera

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange