Newest papers

Reward Misspecification Degrades Chain-of-Thought Monitorability

Tianyi Lorena Yan, John Hewitt · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28303 · open-access PDF

Russian

Мониторинг цепочки мыслей (CoT) языковых моделей (LM) является ключевой стратегией для обнаружения и предотвращения ненадлежащего поведения для безопасности ИИ. Таким образом, важно выявить методы усиления обучения (RL), которые приводят к неконтролируемой цепочке мыслей. Одна такая практика может быть неизбежна: ошибочное определение вознаграждения. По мере того, как среды RL становятся более сложными, невозможно иметь совершенную проверку, и модели вознаграждаются за поведение, которое отличается от истинного намерения задачи. Мы показываем, что ошибочное определение вознаграждения уже деградирует возможность мониторинга.

Machine translation (Meta M2M100); the English original follows.

Abstract

Monitoring the chain-of-thought (CoT) of language models (LMs) is a key strategy for detecting and preventing misbehaviors for AI safety. As such, it is critical to identify reinforcement learning (RL) practices that lead to unmonitorable chain-of-thought. One such practice may be unavoidable: reward misspecification. As RL environments become more complex, it is infeasible to have perfect verification, and models are rewarded for behaviors that are different from the true task intent. We show that reward misspecification alone already degrades monitorability. We create a testbed with pairs of

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange