Newest papers

Train An Imaginative Agent

Jiaxin Ge, Junyi Zhang, Tianning Chai, Hanjun Yoo, Chenyang Wang, Xiuyu Li, Weijia Shi, XuDong Wang, Sewon Min, Luke Zettlemoyer, Trevor Jackson Darrell, Haiwen Feng · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26845 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Để tránh những sai lầm như vậy, một đại lý phải dự đoán hậu quả của hành động của mình trước khi thực hiện, đặc biệt là khi phản hồi từ môi trường thực sự là kém hoặc hành động không thể đảo ngược. Chúng tôi giới thiệu Agent Imagination (Agima), một khuôn khổ đào tạo mà đào tạo một đại lý để hình dung trước khi hành động, tức là để tưởng tượng. Agima đào tạo một mô hình omni hành động duy nhất để đề xuất hành động, tạo ra hình ảnh của các đại lý của họ, và sau đó lý do về những tương lai tưởng tượng này để quyết định những gì để thực hiện trong môi trường thực tế. Thay vì cam kết với một kế hoạch duy nhất, đại lý có thể mô phỏng một chuỗi hành động, khám phá các lựa chọn thay thế, và so sánh các tương lai có thể xảy ra. Chúng tôi đầu tiên có thể sử dụng các hành động

Machine translation (Meta M2M100); the English original follows.

Abstract

A seemingly reasonable push in Sokoban can make the puzzle unsolvable. To avoid such mistakes, an agent has to anticipate the consequences of its actions before execution, especially when feedback from the real environment is sparse or actions are irreversible. We introduce Agentic Imagination (Agima), a training framework that trains an agent to imagine before acting, i.e. to be imaginative. Agima trains a single omni model to propose actions, generate images of their outcomes, and then reason over these imagined futures to decide what to execute in the real environment. Rather than committing to a single plan, the agent can simulate a sequence of actions, explore alternatives, and compare possible futures. We first use supervised fine-tuning (SFT) to unify policy and world modeling within a single omni model. This enables the agent to predict future outcomes and perform basic forms of imagination, such as forward thinking and counterfactual branching. We then use agentic reinforcement learning (RL) to teach the agent to reason with its imagined futures and use them effectively for planning. Across four environments spanning Maze2D, Sokoban, Pacman, and PushT, Agima generalizes to harder settings unseen during training. Trained with SFT alone on two-box Sokoban, Agima solves 40% of four-box puzzles while seeing the real board only once every five moves, compared with an action-only planner that only solves 2%. After RL, new behaviors emerge in how Agima uses its imagination: it learns a new unified format that was unseen during the SFT stage, learns to conduct forward thinking only when necessary, and branches more frequently at critical decision points. An agent that can picture where its actions lead can learn when and where to look ahead, that is, to plan. Project page: https://agima.net/.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Counterfactual thinking, Planner, Computer science, Train, Artificial intelligence, Futures contract

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange