Newest papers

Mitigating Reward Hacking in Preference Reward Models with Evolving Penalties

Afonso Baldo, António Farinhas, Marcos Treviso, Ricardo Rei, Nuno M. Guerreiro · 2026 · arXiv

DOI: 10.48550/arXiv.2610.26496 · open-access PDF

Portuguese

A aprendizagem de reforço para modelos de idiomas mudou de modelos de recompensa de preferência para recompensas verificáveis, que sustentam otimização por muito mais tempo. Os modelos de preferência são propensos a recompensar o hacking: a política aumenta a sua pontuação sem melhorar a qualidade da resposta, ou mesmo enquanto a degrada. No entanto, para tarefas abertas, onde a qualidade não pode ser verificada nem totalmente escrita como rubricas, eles permanecem valiosos. Introduzimos Dynalize, que mitiga o hacking de recompensa on-line, durante o treinamento de políticas. Periodicamente e de forma assíncrona, um modelo de idioma analisa os lançamentos de treinamento e escreve penalidades para o unde

Machine translation (Meta M2M100); the English original follows.

Abstract

Reinforcement learning for language models has moved from preference reward models to verifiable rewards, which sustain much longer optimization. Preference models are prone to reward hacking: the policy raises their score without improving response quality, or even while degrading it. Yet for open-ended tasks, where quality can neither be verified nor fully written down as rubrics, they remain valuable. We introduce Dynalize, which mitigates reward hacking online, during policy training. Periodically and asynchronously, a language model analyzes training rollouts and writes penalties for unde

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange