Newest papers

VaDar: Implicit Goal Conditioning via Value Disaggregation

Shashwat Saxena, Mehul Goel, Sreyas Venkataraman, Sarvesh Patil, Max Simchowitz · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26629 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Nhiệm vụ tầm xa là quan trọng đối với AI và robot hiện đại, nhưng vẫn là một thách thức đối với việc học tập tăng cường. Trong lịch sử, một cách tiếp cận phổ biến là phân hủy một nhiệm vụ thành các mục tiêu phụ, và học một chính sách có điều kiện phụ để thực hiện mỗi nhiệm vụ phụ theo thứ tự. Chúng tôi giới thiệu một lựa chọn thay thế được gọi là phân chia giá trị (VaDar), trong đó đào tạo một chính sách độc lập dưới mục tiêu duy nhất để tối đa hóa một sự kết hợp tuyến tính của các giá trị quan trọng mỗi mục tiêu phụ. Vì thông tin dưới mục tiêu chỉ cần thiết trong thời gian đào tạo, VaDar loại bỏ sự cần thiết cho việc lựa chọn dưới mục tiêu có thể tốn kém hoặc khó khăn trong quá trình triển khai chính sách. Hơn nữa, thông qua các thí nghiệm cẩn thận, chúng tôi cho thấy rằng VaDar (1)

Machine translation (Meta M2M100); the English original follows.

Abstract

Long-horizon tasks are important for modern AI and robotics, yet pose a challenge for reinforcement learning. Historically, a popular approach has been to decompose a task into subgoals, and learn a subgoal-conditioned policy to execute each subtask in sequence. We introduce an alternative called Value Disaggregation (VaDar), which trains a single subgoal-independent policy to maximize a linear combination of per-subgoal critic values. Because subgoal information is needed only at training-time, VaDar removes the need for possibly costly or cumbersome subgoal-selection during policy deployment. Moreover, through careful experiments, we show that VaDar (1) is always competitive with, and frequently outperforms, natural baselines like goal-conditioning and (2) succeeds on tasks with non-sequential goal structure and multiple optimization objectives. In particular, VaDar is the first algorithm to solve challenging, long-horizon tasks in the RoboCasa suite, even when starting from a policy pretrained from behavior cloning with near-zero initial task success. Taken together, VaDar's successes suggest that subgoal information benefits actor-critic reinforcement learning by enhancing the efficacy of critic learning, whereas policy goal-conditioning is often unnecessary.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Reinforcement learning, Task (project management), Computer science, Artificial intelligence, Value (mathematics), Machine learning

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange