Newest papers

Can LLMs Improve Their Own Harness? A Controlled Study on ARC-AGI-3

Jens Lehmann, Sahar Vahdati · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.30499 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Một hệ thống khoảng cách thông minh thông minh thường cho thấy rằng nó có thể có được các kỹ năng mới một cách hiệu quả mà không yêu cầu con người thiết kế lại phần mềm của mình cho mỗi nhiệm vụ mới. Tuy nhiên, các mô hình ngôn ngữ hiếm khi hành động một mình. Một hệ thống hàn là một chương trình biểu tượng giữa các nhiệm vụ mà tổ chức các cuộc gọi đến mô hình, xử lý nhận thức, bộ nhớ, sử dụng công cụ, phục hồi và phân bổ suy luận hiệu quả thay mặt cho mô hình. ARC-AGI-3 là một tiêu chuẩn tương tác trong đó các đại lý phải khám phá các môi trường không quen thuộc, tìm ra mục tiêu của họ trên máy bay, và tiếp tục học hỏi khi họ đi. Trên đó, các hệ thống được điều khiển bởi con người đã báo cáo điểm cao trên các giao thức công cộng, vì vậy chúng tôi biết các thiết kế hiệu quả tồn tại. Chúng tôi

Machine translation (Meta M2M100); the English original follows.

Abstract

A generally intelligent system acquires new skills efficiently without requiring humans to redesign its software scaffold for every new task. Yet language models rarely act alone. A harness is a symbolic program that orchestrates calls to the model, handling perception, memory, tool use, recovery, and inference allocation on the model's behalf. ARC-AGI-3 is an interactive benchmark in which agents must explore unfamiliar environments, figure out their goals on the fly, and keep learning as they go. On it, human-steered systems already report ceiling scores across the public games, so we know effective designs exist. We ask whether frontier models can build and improve such a harness on their own. Through a fixed coding bootstrap, each model constructs a complete task harness, acts through that harness on five development games, and revises the entire codebase twice. Every version is evaluated on twenty games that never influence adaptation. We measure task performance with Relative Human Action Efficiency (RHAE), which combines level completion with action efficiency relative to human baselines, and record dollar-denominated inference cost as a practical resource measure. Across 27 lineages, harness performance ranges from zero to near-ceiling scores. Two revisions raise mean held-out RHAE by only 2.80 points (95% interval [-1.44,7.35]). Development gains overstate held-out improvement, and reductions in inference cost can come at the expense of task performance. Human-steered systems demonstrate further headroom. These findings reveal a gap between autonomous harness construction and reliable adaptation under this two-revision protocol: even strong task performance does not ensure that subsequent revisions generalize or preserve existing capabilities.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Task (project management), Inference, Coding (social sciences), Risk analysis (engineering), Adaptation (eye)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange