Newest papers

AgentVQA: A Unified Benchmark for Agentic Visual Understanding

Advait Gupta, Sachin Konan, Tom Yin, Gabriel Sarch, Zhuang Liu · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31494 · open-access PDF

Japanese

ビジョン言語モデル(VLMs)は、さまざまな設定で幅広いタスクを実行することができるが、そのパフォーマンスはエージェントの文脈ではまだ理解されていない。シミュレータや現実世界の環境でのオンライン評価は、インタラクティブエージェントのパフォーマンスを測定するために不可欠であるが、コストがかかり、スケールするのに困難である。追加的なオフラインVQAベンチャーは、エージェントのドメイン間でより迅速かつ信頼性の高い比較を可能にするが、既存のベンチャーは限られ、断片化されている。このギャップを解決するために、我々は、現実的なエージェントのVLMsを評価するためのオフラインベン

Machine translation (Meta M2M100); the English original follows.

Abstract

Vision-language models (VLMs) can perform a broad range of tasks across diverse settings, yet their performance in agentic contexts remains poorly understood. Although online evaluations in simulators and real-world environments are essential for measuring interactive agent performance, they are costly and challenging to scale. Complementary offline VQA benchmarks can enable faster and more reliable comparisons across agentic domains, yet existing benchmarks remain limited and fragmented. To address this gap, we introduce AgentVQA, an offline benchmark for evaluating VLMs on realistic agentic

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange