Zhaoxi Zhang, Hao Liang, Linxuan Wu, Yiming Wu, Yifu Yuan, Kun Liang, Chenming Tang, Meiyi Qiang, Wentao Zhang, Weikang Li · 2026 · arXiv (Cornell University)
DOI: 10.48550/arxiv.2610.26659 · cited by 0 works (OpenAlex) · open-access PDF
Tín dụng thông minh không gian yêu cầu các đại lý tích cực thu thập bằng chứng thị giác và tích hợp các quan sát vào một đại diện nhất quán của thế giới ba chiều. Tuy nhiên, trả lời câu hỏi không gian cung cấp bằng chứng hạn chế về việc liệu các mô hình có thể xây dựng các bản đồ mét chính xác thông qua khám phá tự trị. Chúng tôi giới thiệu SpatialScout, một tiêu chuẩn để đánh giá mô hình thị giác ngôn ngữ (VLM) các đại lý trên một khung tọa độ 3D hoạt động. SpatialScout bao gồm 80 cảnh nội thất đa dạng có chứa 3,140 đối tượng mục tiêu. Với một hàng tồn kho đối tượng, quan sát RGB, hiệu chuẩn camera và đặt camera, các đại lý điều khiển một máy ảnh để khám phá từng cảnh và ước tính các trung tâm đối tượng trong một khung tọa độ chung. Nhiệm vụ này đ
Machine translation (Meta M2M100); the English original follows.
Spatial intelligence requires agents to actively acquire visual evidence and integrate observations into a coherent representation of the three-dimensional world. Yet spatial question answering offers limited evidence of whether models can construct accurate metric maps through autonomous exploration. We introduce SpatialScout, a benchmark for evaluating vision-language model (VLM) agents on active object-level 3D mapping. SpatialScout comprises 80 diverse indoor scenes containing 3,140 target objects. Given an object inventory, RGB observations, camera calibration, and camera poses, agents control a camera to explore each scene and estimate object centers in a shared coordinate frame. The task requires coordinating viewpoint selection, cross-view association, geometric estimation, and map revision under bounded interaction budgets. Evaluation jointly measures localization accuracy and target coverage through object-scale overlap scores that penalize missing predictions. Experiments with frontier VLMs reveal substantial limitations: the strongest evaluated model, Claude Opus 5.5, achieves a mean overlap score of 41.71%, with 47.23% of targets exceeding an intersection-over-union (IoU) threshold of 0.5 and only 3.25% exceeding 0.9. These results reveal a substantial gap between recovering coarse object layouts and constructing complete, precise metric maps. SpatialScout provides a quantitative testbed for developing agents that build reliable 3D spatial representations through active perception. Code is available at https://github.com/JesseZZZZZ/SpatialScout.
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
Topics: Artificial intelligence, Computer science, Object (grammar), Testbed, Representation (politics), Computer vision
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.26659, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange