Newest papers

Self-Credit: Credit Assignment for Long-Horizon Agentic RL via Intra-group Rescaling

Fangcong Yin, Ming Yin, Tanvi Bhandarkar, Aashu Singh, Eryk Helenowski, Shlok Kumar Mishra, Saghar Hosseini, Karthik Abinav Sankararaman · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28388 · open-access PDF

Vietnamese

Các đại lý LLM thường được đào tạo với RLVR, nhưng bản chất hiếm hoi của phần thưởng RLVR điển hình làm cho việc phân bổ tín dụng trở nên khó khăn, đặc biệt là đối với các nhiệm vụ dài hạn. Chúng tôi đề xuất Self-Credit, một phương pháp RL đại lý từ đầu đến cuối tạo ra các tín hiệu giám sát dày đặc từ phần thưởng kết quả hiếm khi sử dụng phân bổ tín dụng tự tạo thông qua tái quy mô trong nhóm. Self-Credit xây dựng trên RL dựa trên nhóm với ba thành phần. Thứ nhất, trong quá trình triển khai, chính sách mô hình tạo ra các bản tóm tắt với trích dẫn đến các lượt trước có chứa bằng chứng quan trọng, phục vụ như tín dụng tự tạo. Thứ hai, chúng tôi tinh chỉnh mo này

Machine translation (Meta M2M100); the English original follows.

Abstract

LLM agents are commonly trained with RLVR, but the sparse nature of typical RLVR rewards makes credit assignment challenging, especially for long-horizon tasks. We propose Self-Credit, an end-to-end agentic RL method that creates dense supervision signals from sparse outcome rewards using self-generated credit assignment via intra-group rescaling. Self-Credit builds on group-based RL with three components. First, during its rollouts, the policy model generates summaries with citations to earlier turns containing critical evidence, which serve as self-generated credit. Second, we refine this mo

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange