Newest papers

ReAPO: Retry-Aware Policy Optimization for Efficient Exploration in LLM Reasoning

Nghi Dao, Calder Morton-Ferguson, Noah Golowich, Adam Block · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28770 · open-access PDF

Japanese

RLVRは言語モデル推論を向上させますが、一般に、同じような失敗した戦略を何度もサンプルすることができる探査のための独立したストーカスティック展開に依存します。以前の仕事は、サンプル化プロセスに不適切なソリューションを含むことによって依存を導入することによって探査を指示するアプローチで成功を収めています。それでも、これらの方法は、各試行に信用を割り当てる方法の追加の質問を導入します。我々は、クラシックの強化学習の枠組みであるストーカスティック・ショート・パスのレンズを通してクレジット割り当てを見ることを提案します。

Machine translation (Meta M2M100); the English original follows.

Abstract

RLVR improves language-model reasoning, but commonly relies on independent stochastic rollouts for exploration, which can repeatedly sample similar failed strategies. Prior work has seen success with approaches that guide exploration by introducing dependence into the sampling process by including incorrect solutions in the context for subsequent attempts. Still, these methods introduce the additional question of how to assign credit to each attempt. We propose to view the credit assignment through the lens of Stochastic Shortest Paths, a framework in classical reinforcement learning that seek

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange