Newest papers

Towards Robust Model Organisms for Eliciting Latent Knowledge

Lennart Finke, Hardik Bhatnagar, Euodia Dodd, Francis Rhys Ward, Yves-Alexandre de Montjoye, Matthias Bethge, Mary Phuong · 2026 · arXiv

DOI: 10.48550/arXiv.2610.26698 · open-access PDF

Spanish

Un problema clave en la seguridad de la IA es generar conocimiento latente (ELK), extraer información de un modelo que está desalinizado y más conocido que su supervisor. Por ejemplo, un modelo desalinizado utilizado para escanear código para vulnerabilidades puede querer retener sus hallazgos, es decir, bolsa de arena, con el fin de explotarlos más adelante. Para estudiar ELK empíricamente, necesitamos organismos de modelo que reflejen este ajuste. Los organismos de modelo existentes caen cortos en varios aspectos. En este trabajo, entrenamos organismos de modelo para retener soluciones en una tarea de detección de vulnerabilidades. Combinamos la destilación de transcripciones con el contra-prompting.

Machine translation (Meta M2M100); the English original follows.

Abstract

A key problem in AI safety is eliciting latent knowledge (ELK), extracting information from a model that is misaligned and more knowledgeable than its overseer. For example, a misaligned model used to scan code for vulnerabilities may want to withhold its findings, i.e., sandbag, in order to exploit them later. To study ELK empirically, we need model organisms that mirror this setting. Existing model organisms fall short in several respects. In this work, we train model organisms to withhold solutions in a vulnerability detection task. We combine transcript distillation with counter-prompting

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange