Tianyi Lorena Yan, John Hewitt · 2026 · arXiv
DOI: 10.48550/arXiv.2610.28303 · open-access PDF
Die Überwachung der Kette des Denkens (CoT) von Sprachmodellen (LMs) ist eine Schlüsselstrategie für die Erkennung und Verhinderung von Fehlverhalten für die KI-Sicherheit. Als solche ist es entscheidend, Verstärkungslernpraktiken (RL) zu identifizieren, die zu unüberwachbaren Kette des Denkens führen. Eine solche Praxis kann unausweichlich sein: Belohnung Fehlspezifikation. Da RL-Umgebungen komplexer werden, ist es unmöglich, perfekte Verifizierung zu haben, und Modelle werden für Verhaltensweisen belohnt, die sich von der wahren Aufgabe abheben. Wir zeigen, dass die Belohnung Fehlspezifikation allein bereits die Überwachungsfähigkeit degradiert.
Machine translation (Meta M2M100); the English original follows.
Monitoring the chain-of-thought (CoT) of language models (LMs) is a key strategy for detecting and preventing misbehaviors for AI safety. As such, it is critical to identify reinforcement learning (RL) practices that lead to unmonitorable chain-of-thought. One such practice may be unavoidable: reward misspecification. As RL environments become more complex, it is infeasible to have perfect verification, and models are rewarded for behaviors that are different from the true task intent. We show that reward misspecification alone already degrades monitorability. We create a testbed with pairs of
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.28303, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange