Newest papers

Mitigating Reward Hacking in Preference Reward Models with Evolving Penalties

Afonso Baldo, António Farinhas, Marcos Treviso, Ricardo Rei, Nuno M. Guerreiro · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26496 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Học hành vi tăng cường cho các mô hình ngôn ngữ đã chuyển từ các mô hình phần thưởng ưu tiên sang các phần thưởng có thể xác minh được, hỗ trợ tối ưu hóa lâu hơn nhiều. Các mô hình ưu tiên có khả năng thưởng hacking: chính sách làm tăng điểm số của họ mà không cải thiện chất lượng phản ứng, hoặc thậm chí trong khi làm suy giảm nó. Tuy nhiên, đối với các nhiệm vụ mở, nơi chất lượng không thể được xác minh hoặc hoàn toàn viết xuống dưới dạng tiêu đề, chúng vẫn có giá trị. Chúng tôi giới thiệu Dynalize, trong tư vấn lâm sàng và viết sáng tạo, đào tạo phần thưởng trực tuyến, trong quá trình đào tạo chính sách. Theo định kỳ và không đồng bộ, một mô hình ngôn ngữ phân tích các bước tham gia đào tạo và viết hình phạt cho các hành vi không mong muốn mà mô hình phần thưởng xuất hiện để thưởng; một thẩm phán áp dụng chúng cho mỗi lần

Machine translation (Meta M2M100); the English original follows.

Abstract

Reinforcement learning for language models has moved from preference reward models to verifiable rewards, which sustain much longer optimization. Preference models are prone to reward hacking: the policy raises their score without improving response quality, or even while degrading it. Yet for open-ended tasks, where quality can neither be verified nor fully written down as rubrics, they remain valuable. We introduce Dynalize, which mitigates reward hacking online, during policy training. Periodically and asynchronously, a language model analyzes training rollouts and writes penalties for undesirable behaviors that the reward model appears to reward; a judge applies them to every rollout. In clinical counseling and creative writing, training on the reward model alone raises its score continuously but ultimately leads to a decline in external benchmarks; Dynalize sustains longer training and results in improved downstream performance. We find that our method suppresses patterns incentivized by preference models that, without penalties, spread to most responses, and even to the model's reasoning, which the reward model does not explicitly score. Furthermore, we show that its gains hold in multi-turn training, and even after we retrain the reward model on the discovered behaviors.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Preference, Hacker, Reinforcement learning, Quality (philosophy), Computer science, Cognitive psychology

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange