Newest papers

PointerBench: A Diagnostic Benchmark for Fine-Grained GUI Grounding

Valentino Sacco, Saurabh Pandey, Alexander Florian Jercher, Maximilian Schilling · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.31274 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các mô hình ngôn ngữ lớn đa phương thức đã cho thấy hiệu suất đầy hứa hẹn trong các nhiệm vụ sử dụng máy tính, từ lập kế hoạch dòng công việc của người dùng đến lập địa chỉ các hành động ngôn ngữ tự nhiên cho đến các mục tiêu UI chính xác. Các tiêu chuẩn chuẩn từ đầu đến cuối hiện có chủ yếu nhấn mạnh việc hoàn thành nhiệm vụ theo chân trời dài, trong khi tiêu chuẩn lập địa chỉ GUI vẫn tập trung vào các điều khiển thông thường và một tập hợp giới hạn các giao diện chuyên nghiệp. Chúng tôi giới thiệu POINTERBENCH, một bộ chẩn đoán GUI chuyên gia hỗn hợp trên 100 ứng dụng chuyên nghiệp (POINTERBENCH-Pro) với ba khả năng bổ sung: nhận dạng phần tử mỏng và định vị địa lý hình học trong bảng tính (POINTERBENCH-Sheets), lập địa chỉ nhân vật ở cấp độ dài trong các tài

Machine translation (Meta M2M100); the English original follows.

Abstract

Multimodal Large Language Models have shown promising performance in computer-use tasks, from planning user workflows to grounding natural-language actions to precise UI targets. Existing end-to-end benchmarks primarily emphasize long-horizon task completion, while GUI grounding benchmarks remain focused on conventional controls and a limited set of professional interfaces. We introduce POINTERBENCH, a diagnostic suite of 1,500 screenshot-instruction pairs probing three complementary capabilities: thin sub-element identification and geometric grounding in spreadsheets (POINTERBENCH-Sheets), character-level grounding in long-text documents (POINTERBENCH-Text), and mixed GUI grounding across 100 professional applications (POINTERBENCH-Pro). We carefully curate each task with pixel-exact target geometry and evaluate both general-purpose multimodal models and 39 specialist GUI grounding configurations. We find text grounding to be the most challenging setting, with Claude Fable 5, GPT-5.6 Sol, and the leading native specialist UI-Venus-2-9B achieving 69.6%, 53.4%, and 25.8% success on POINTERBENCH-Text despite respective 83.2%, 77.7%, and 54.5% average success across POINTERBENCH. These results reveal substantial headroom in fine-grained GUI grounding across frontier and specialist models. We publicly release the benchmark and evaluation code at https://github.com/warmwindOS/pointerbench.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Ground, Computer science, Suite, Workflow, Task (project management), Benchmark (surveying)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange