Lennart Finke, Hardik Bhatnagar, Euodia Dodd, Francis Rhys Ward, Yves-Alexandre de Montjoye, Matthias Bethge, Mary Phuong · 2026 · arXiv
DOI: 10.48550/arXiv.2610.26698 · open-access PDF
Salah satu masalah utama dalam keamanan AI adalah mendorong pengetahuan tersembunyi (ELK), mengekstrak informasi dari model yang disalin dan lebih berpengetahuan daripada pengawasnya. Sebagai contoh, model disalin yang digunakan untuk memindai kode untuk kerentanan mungkin ingin menahan temuan, yaitu sandbag, untuk mengeksploitasi mereka nanti. Untuk mempelajari ELK secara empiris, kita membutuhkan organisme model yang mencerminkan pengaturan ini. Organisme model yang ada jatuh pendek dalam beberapa hal. Dalam pekerjaan ini, kami melatih organisme model untuk menahan solusi dalam tugas deteksi kerentanan. Kami menggabungkan distilasi transkript dengan counter-prompting
Machine translation (Meta M2M100); the English original follows.
A key problem in AI safety is eliciting latent knowledge (ELK), extracting information from a model that is misaligned and more knowledgeable than its overseer. For example, a misaligned model used to scan code for vulnerabilities may want to withhold its findings, i.e., sandbag, in order to exploit them later. To study ELK empirically, we need model organisms that mirror this setting. Existing model organisms fall short in several respects. In this work, we train model organisms to withhold solutions in a vulnerability detection task. We combine transcript distillation with counter-prompting
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.26698, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange