Newest papers

Same Luck, Different Choice: Twin-World Credit Assignment for Agentic Reinforcement Learning

Zeropy Surio, Tobias Engel, Mei-Lin Chou, Anika Raman, Samuel Okafor · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31544 · open-access PDF

Russian

Контрфактическое разветвление оценивает этот кредит путем перезагрузки эпизода после альтернативного решения, но отрасль выводит свой шум от выборки независимо от фактического эпизода, поэтому разница в результате смешивает эффект решения с удачей всего, что следует за ним. Мы наблюдаем, что в агентском поиске ретривер, корпус и градусник являются детерминистскими, поэтому эпизод является детерминистской функцией решений политики и ее шума от выборки.

Machine translation (Meta M2M100); the English original follows.

Abstract

Agentic reinforcement learning rewards a complete episode, yet the policy needs credit for every decision inside it. Counterfactual branching estimates this credit by re-running the episode after an alternative decision, but the branch draws its sampling noise independently of the factual episode, so the outcome difference mixes the effect of the decision with the luck of everything that follows. We observe that in agentic search the retriever, the corpus, and the grader are deterministic, so an episode is a deterministic function of the policy's decisions and its sampling noise. Twin worlds a

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange