Lennart Finke, Hardik Bhatnagar, Euodia Dodd, Francis Rhys Ward, Yves-Alexandre de Montjoye, Matthias Bethge, Mary Phuong · 2026 · arXiv
DOI: 10.48550/arXiv.2610.26698 · open-access PDF
Um problema-chave na segurança da IA é a criação de conhecimentos latentes (ELK), extraindo informações de um modelo que é desalinhado e mais conhecido do que seu supervisor. Por exemplo, um modelo desalinhado usado para digitalizar código para vulnerabilidades pode querer reter suas descobertas, ou seja, saco de areia, para explorá-los mais tarde. Para estudar o ELK empiricamente, precisamos de organismos-modelo que reflitam essa configuração. Os organismos-modelo existentes ficam curtos em vários aspectos. Neste trabalho, treinamos organismos-modelo para reter soluções em uma tarefa de detecção de vulnerabilidades.
Machine translation (Meta M2M100); the English original follows.
A key problem in AI safety is eliciting latent knowledge (ELK), extracting information from a model that is misaligned and more knowledgeable than its overseer. For example, a misaligned model used to scan code for vulnerabilities may want to withhold its findings, i.e., sandbag, in order to exploit them later. To study ELK empirically, we need model organisms that mirror this setting. Existing model organisms fall short in several respects. In this work, we train model organisms to withhold solutions in a vulnerability detection task. We combine transcript distillation with counter-prompting
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.26698, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange