Newest papers

Reward Misspecification Degrades Chain-of-Thought Monitorability

Tianyi Lorena Yan, John Hewitt · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28303 · open-access PDF

Japanese

言語モデルの思考チェーン(CoT)を監視することは、AIセキュリティのための不適切な行動を検出し予防するための重要な戦略です。したがって、監視不能な思考チェーンにつながる強化学習(RL)実践を特定することが重要です。そのような実践の一つは避けられない可能性があります:報酬誤定化。RL環境がより複雑になるにつれて、完璧な検証を持つことは不可能であり、実際のタスク意図とは異なる行動のためにモデルが報われる。

Machine translation (Meta M2M100); the English original follows.

Abstract

Monitoring the chain-of-thought (CoT) of language models (LMs) is a key strategy for detecting and preventing misbehaviors for AI safety. As such, it is critical to identify reinforcement learning (RL) practices that lead to unmonitorable chain-of-thought. One such practice may be unavoidable: reward misspecification. As RL environments become more complex, it is infeasible to have perfect verification, and models are rewarded for behaviors that are different from the true task intent. We show that reward misspecification alone already degrades monitorability. We create a testbed with pairs of

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange