Newest papers

Reward Misspecification Degrades Chain-of-Thought Monitorability

Tianyi Lorena Yan, John Hewitt · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28303 · open-access PDF

Portuguese

Monitorar a cadeia de pensamento (CoT) dos modelos de linguagem (LMs) é uma estratégia chave para detectar e prevenir mal-comportamentos para a segurança da IA. Como tal, é crucial identificar as práticas de aprendizagem reforçada (RL) que levam a uma cadeia de pensamento não monitorável. Uma dessas práticas pode ser inevitável: recompensar a falsa especificação. À medida que os ambientes de RL se tornam mais complexos, é impossível ter verificação perfeita e os modelos são recompensados por comportamentos que são diferentes da verdadeira intenção da tarefa. Mostramos que a falsa especificação da recompensa sozinha já degrada a monitorabilidade. Criamos um banco de teste com pares de tarefas.

Machine translation (Meta M2M100); the English original follows.

Abstract

Monitoring the chain-of-thought (CoT) of language models (LMs) is a key strategy for detecting and preventing misbehaviors for AI safety. As such, it is critical to identify reinforcement learning (RL) practices that lead to unmonitorable chain-of-thought. One such practice may be unavoidable: reward misspecification. As RL environments become more complex, it is infeasible to have perfect verification, and models are rewarded for behaviors that are different from the true task intent. We show that reward misspecification alone already degrades monitorability. We create a testbed with pairs of

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange