Newest papers

Self-Credit: Credit Assignment for Long-Horizon Agentic RL via Intra-group Rescaling

Fangcong Yin, Ming Yin, Tanvi Bhandarkar, Aashu Singh, Eryk Helenowski, Shlok Kumar Mishra, Saghar Hosseini, Karthik Abinav Sankararaman · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28388 · open-access PDF

Japanese

LLMエージェントは一般的にRLVRで訓練されていますが、典型的なRLVR報酬の希少な性質により、特に長期的な任務のためのクレジット割り当ては挑戦的です。私たちは、自己クレジットは、グループ内で自己生成されたクレジット割り当てを介して希少な結果の報酬から密接な監督シグナルを作成するエンド-to-エンドエージェントRLメソッドである、自己クレジットを提案します。自己クレジットは、3つのコンポーネントを含むグループベースのRLに構築します。第一に、その展開中に、モデルポリシーは、自己生成されたクレジットとして機能する重要な証拠を含む以前のターンへの引用と概要を生成します。

Machine translation (Meta M2M100); the English original follows.

Abstract

LLM agents are commonly trained with RLVR, but the sparse nature of typical RLVR rewards makes credit assignment challenging, especially for long-horizon tasks. We propose Self-Credit, an end-to-end agentic RL method that creates dense supervision signals from sparse outcome rewards using self-generated credit assignment via intra-group rescaling. Self-Credit builds on group-based RL with three components. First, during its rollouts, the policy model generates summaries with citations to earlier turns containing critical evidence, which serve as self-generated credit. Second, we refine this mo

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange