Newest papers

Agent World Model in the Wild: Computer-Use Agent Environment Synthesis

Zhaoyang Wang, Qianhui Wu, Haorui Wang, Simon Yu, Baolin Peng, Canwen Xu, Hao Cheng, Wenlin Yao, Boyi Liu, Yite Wang, Jianfeng Gao, Huaxiu Yao · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26828 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Tuy nhiên, quy mô học tập như vậy trực tiếp trong các hệ thống máy tính thực tế là thách thức và có thể giới thiệu rủi ro bảo mật đáng kể. Do đó, chúng tôi đề xuất mô hình máy tính Agent World in the Wild (WildAWM), một đường ống có thể mở rộng để tổng hợp các môi trường có thể kiểm soát được và các nhiệm vụ để đào tạo các đại lý sử dụng máy tính chung (CUA). Trong khi các phương pháp hiện có thường chuyên về giao diện tương tác đại lý duy nhất, chúng tôi xây dựng các môi trường có thể thực hiện được mà cùng hỗ trợ giao diện người dùng đồ họa, dịch vụ giao thức ngữ cảnh mô hình, và giao diện dòng lệnh, cho phép các đại lý để linh hoạt kết hợp tương tác trực quan, sử dụng công cụ và thực hiện mã. WildAWM hoàn toàn được cung cấp bởi các mô hình tương tác mã nguồn mở, chứng

Machine translation (Meta M2M100); the English original follows.

Abstract

Agent learning is shifting from learning from human data toward learning through interaction with the world. However, scaling such learning directly in real-world computer systems is challenging and can introduce substantial security risks. We therefore propose Agent World Model in the Wild (WildAWM), a scalable pipeline for synthesizing controllable environments and tasks for training general computer-use agents (CUAs). Whereas existing approaches typically specialize in a single agent interaction interface, we construct executable environments that jointly support graphical user interfaces, model context protocol services, and command-line interfaces, allowing agents to flexibly combine visual interaction, tool use, and code execution. WildAWM is entirely powered by open-source models, demonstrating that high-quality computer-use environments can be generated without proprietary frontier models. Beyond environments, we address three recurring challenges in task synthesis: ensuring solvability, maintaining sufficient difficulty, and producing reliable verifiers, by introducing execution-based quality gates that combine heterogeneous agent rollouts, cross-judge consistency checks, and counterfactual probes of judgment robustness. The resulting pipeline synthesizes 341 long-horizon environment-task pairs that can require over 100 agent steps to solve and remain challenging even for frontier models, with GPT-6-Astra solving only 60% of them. We train two Qwen models of different sizes exclusively in these synthetic worlds. Both models achieve substantial gains across 8 out-of-distribution benchmarks spanning web, claw, and computer-use agents, demonstrating that learning in WildAWM's synthesized worlds generalizes broadly to unseen computer-use tasks. The code is publicly available at https://github.com/MSR-Orchard/WildAWM.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Executable, Context (archaeology), Scalability, Pipeline (software), Artificial intelligence

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange