Newest papers

Evolving Agent Interfaces

Saaket Agashe, Yuzhe Yang, Gonzalo Gonzalez-Pumariega, Bhuvan Chandra Koduru, Chih-Lun Li, Jiachen Yang, Ang Li, Xin Eric Wang · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28601 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các đại lý tự động sử dụng máy tính được giới hạn bởi các giao diện mà con người cung cấp cho họ. Một đại lý có thể gõ một ô bảng tính theo ô khi một dòng mã duy nhất sẽ làm, hoặc in tất cả hai ngàn dòng của một tệp thông qua một vỏ để tìm một chức năng. Cả hai giao diện và kiến thức về khi sử dụng mỗi được xây dựng bằng tay, mà không thể theo kịp với các ứng dụng mới, dòng công việc và mô hình. Chúng tôi lập luận rằng thiết kế giao diện nên là một khả năng đại lý. Chúng tôi giới thiệu Agent S4, một nhà khoa học sử dụng máy tính tự động xây dựng giao diện đại lý tiến hóa từ kinh nghiệm nhiệm vụ. Một đại lý meta kiểm tra các quỹ đạo của đại lý nhiệm vụ trên các nhiệm vụ đào tạo tổng hợp, không có nhãn hiệu thành công, và xây dựng và sửa đổi giao diện và kiến thức sử

Machine translation (Meta M2M100); the English original follows.

Abstract

Computer-use agents are limited by the interfaces humans give them. An agent may type a spreadsheet cell by cell when a single line of code would do, or print all two thousand lines of a file through a shell to find one function. Both the interfaces and the knowledge of when to use each are built by hand, which cannot keep pace with new applications, workflows, and models. We argue that interface design should itself be an agent capability. We introduce Agent S4, an autonomous computer-use scientist that builds Evolving Agent Interfaces from task experience. A meta-agent examines task agents' trajectories on synthetic training tasks, without success labels, and constructs and revises interfaces and usage knowledge in a repository. Population-based evolution then selects which repositories to develop further by their performance on validation tasks the meta-agent never sees, favoring changes that generalize beyond the seen tasks. On OSWorld V2, Agent S4, with Qwen3.8-27B and the evolved repository of interfaces, sets a new state of the art in open-source computer-use agents, reaching 21.3% binary score, 3.8 times the same model with fixed interfaces. This is above both GPT-5.5 (13.0%) and Claude Opus 4.8 (20.6%), at about 4.3% and 1.5% of their respective costs. On ScienceBoard, the evolved interfaces improve the success rate from 41.4% to 58.6% with the same model. These results suggest that useful interfaces can be evolved from experience, making autonomous interface design a source of improvement complementary to advances in models and harnesses. We open-source our code at https://github.com/simular-ai/agent-s.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Task (project management), Interface (matter), Code (set theory), Human–computer interaction, Autonomous agent

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange