Jeffrey Olmo, David Zhang, Tyler Tracy · 2026 · arXiv
DOI: 10.48550/arXiv.2610.31593 · open-access PDF
컨트롤 평가는 AI 모델이 의도적으로 그렇게하려고 할 때에도 원치 않는 결과를 초래할 수 있는지 여부를 측정합니다.이 평가는 일반적으로 목적으로 구축된 컨트롤 설정을 사용하고 결과를 모델의 배포에 추가합니다.그러나 배포에서 보호의 효과는 컨트롤 설정이 나타내지 않는 환경 및 작업의 특성에 달려 있습니다. 컨트롤 평가가 실행될 수 있는 곳을 확장하기 위해 우리는 환경 대신에 도구 반응을 시뮬레이션하기 위해 언어 모델을 사용하는 시뮬레이션 컨트롤 평가 (SCEs)를 도입합니다.
Machine translation (Meta M2M100); the English original follows.
Control evaluations measure whether safeguards can prevent an AI model from causing undesired outcomes even when it is intentionally trying to do so. These evaluations typically use purpose-built control settings and extrapolate their results to a model's deployment. However, the effectiveness of safeguards in deployment can depend on features of environments and tasks that control settings do not represent. To broaden where control evaluations can be run, we introduce simulated control evaluations (SCEs), which use a language model to simulate tool responses in place of an environment. We eva
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.31593, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange