Newest papers

Mitigating Reward Hacking in Preference Reward Models with Evolving Penalties

Afonso Baldo, António Farinhas, Marcos Treviso, Ricardo Rei, Nuno M. Guerreiro · 2026 · arXiv

DOI: 10.48550/arXiv.2610.26496 · open-access PDF

Japanese

言語モデルのための強化学習は、優先順位の報酬モデルから検証可能な報酬モデルに移行し、より長い期間の最適化を維持しています。優先順位モデルは、報酬ハッキングの可能性があります:ポリシーは、応答の質を向上させることなく、あるいは低下させることなく、彼らのスコアを上げます。しかし、オープンエンドのタスクでは、品質が検証できず、完全にタブリックとして記録されない場合、彼らは貴重です。我々は、ポリシートレーニング中に、オンラインで報酬ハッキングを軽減するDynalizeを導入します。定期的かつ非同期的に、言語モデルは、トレーニングの展開を分析し、犯罪のための罰則

Machine translation (Meta M2M100); the English original follows.

Abstract

Reinforcement learning for language models has moved from preference reward models to verifiable rewards, which sustain much longer optimization. Preference models are prone to reward hacking: the policy raises their score without improving response quality, or even while degrading it. Yet for open-ended tasks, where quality can neither be verified nor fully written down as rubrics, they remain valuable. We introduce Dynalize, which mitigates reward hacking online, during policy training. Periodically and asynchronously, a language model analyzes training rollouts and writes penalties for unde

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange