Newest papers

Mitigating Reward Hacking in Preference Reward Models with Evolving Penalties

Afonso Baldo, António Farinhas, Marcos Treviso, Ricardo Rei, Nuno M. Guerreiro · 2026 · arXiv

DOI: 10.48550/arXiv.2610.26496 · open-access PDF

French

L’apprentissage du renforcement pour les modèles linguistiques est passé des modèles de récompense de préférence aux récompenses vérifiables, qui supportent une optimisation beaucoup plus longue. Les modèles de préférence sont susceptibles de récompenser le piratage : la politique augmente leur score sans améliorer la qualité de la réponse, ou même en la dégradant. Pour les tâches ouvertes, où la qualité ne peut ni être vérifiée ni complètement écrite en tant que rubriques, ils demeurent précieux. Nous introduisons Dynalize, qui atténue le piratage de récompense en ligne, lors de la formation des politiques. périodiquement et asynchroniquement, un modèle de langue analyse les déploiements de la formation et écrit les

Machine translation (Meta M2M100); the English original follows.

Abstract

Reinforcement learning for language models has moved from preference reward models to verifiable rewards, which sustain much longer optimization. Preference models are prone to reward hacking: the policy raises their score without improving response quality, or even while degrading it. Yet for open-ended tasks, where quality can neither be verified nor fully written down as rubrics, they remain valuable. We introduce Dynalize, which mitigates reward hacking online, during policy training. Periodically and asynchronously, a language model analyzes training rollouts and writes penalties for unde

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange