Jeffrey Olmo, David Zhang, Tyler Tracy · 2026 · arXiv
DOI: 10.48550/arXiv.2610.31593 · open-access PDF
Steuerungsbewertungen messen, ob Schutzmaßnahmen verhindern können, dass ein KI-Modell unerwünschte Ergebnisse verursacht, auch wenn es vorsätzlich versucht, dies zu tun. Diese Bewertungen verwenden in der Regel zweckgebaute Steuerungseinstellungen und extrapolieren ihre Ergebnisse auf die Bereitstellung eines Modells. Jedoch kann die Wirksamkeit der Schutzmaßnahmen in der Bereitstellung von den Merkmalen von Umgebungen und Aufgaben abhängen, die die Steuerungseinstellungen nicht repräsentieren.
Machine translation (Meta M2M100); the English original follows.
Control evaluations measure whether safeguards can prevent an AI model from causing undesired outcomes even when it is intentionally trying to do so. These evaluations typically use purpose-built control settings and extrapolate their results to a model's deployment. However, the effectiveness of safeguards in deployment can depend on features of environments and tasks that control settings do not represent. To broaden where control evaluations can be run, we introduce simulated control evaluations (SCEs), which use a language model to simulate tool responses in place of an environment. We eva
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.31593, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange