Jeffrey Olmo, David Zhang, Tyler Tracy · 2026 · arXiv
DOI: 10.48550/arXiv.2610.31593 · open-access PDF
As avaliações de controle medem se as salvaguardas podem impedir que um modelo de IA cause resultados indesejados, mesmo quando está intencionalmente tentando fazê-lo. Essas avaliações normalmente usam configurações de controle construídas com propósito e extrapolam seus resultados para a implantação de um modelo. No entanto, a eficácia das salvaguardas na implantação pode depender de características de ambientes e tarefas que as configurações de controle não representam. Para ampliar onde as avaliações de controle podem ser executadas, introduzimos avaliações de controle simuladas (SCEs), que usam um modelo de idioma para simular respostas de ferramentas em vez de um ambiente.
Machine translation (Meta M2M100); the English original follows.
Control evaluations measure whether safeguards can prevent an AI model from causing undesired outcomes even when it is intentionally trying to do so. These evaluations typically use purpose-built control settings and extrapolate their results to a model's deployment. However, the effectiveness of safeguards in deployment can depend on features of environments and tasks that control settings do not represent. To broaden where control evaluations can be run, we introduce simulated control evaluations (SCEs), which use a language model to simulate tool responses in place of an environment. We eva
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.31593, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange