Zeropy Surio, Tobias Engel, Mei-Lin Chou, Anika Raman, Samuel Okafor · 2026 · arXiv
DOI: 10.48550/arXiv.2610.31544 · open-access PDF
El aprendizaje de reforzamiento de agentes recompensa un episodio completo, pero la política necesita crédito para cada decisión dentro de ella. El ramificado contrafactual estima este crédito al reiniciar el episodio después de una decisión alternativa, pero la rama traza su ruido de muestreo independientemente del episodio real, por lo que la diferencia de resultado mezcla el efecto de la decisión con la suerte de todo lo que sigue. Observamos que en la búsqueda de agentes el retriever, el corpus y el gradiente son deterministas, por lo que un episodio es una función determinista de las decisiones de la política y su ruido de muestreo.
Machine translation (Meta M2M100); the English original follows.
Agentic reinforcement learning rewards a complete episode, yet the policy needs credit for every decision inside it. Counterfactual branching estimates this credit by re-running the episode after an alternative decision, but the branch draws its sampling noise independently of the factual episode, so the outcome difference mixes the effect of the decision with the luck of everything that follows. We observe that in agentic search the retriever, the corpus, and the grader are deterministic, so an episode is a deterministic function of the policy's decisions and its sampling noise. Twin worlds a
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.31544, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange