Jeffrey Olmo, David Zhang, Tyler Tracy · 2026 · arXiv
DOI: 10.48550/arXiv.2610.31593 · open-access PDF
Đánh giá kiểm soát đo lường xem các biện pháp bảo vệ có thể ngăn chặn một mô hình AI gây ra các kết quả không mong muốn ngay cả khi nó cố tình cố gắng làm như vậy. Những đánh giá này thường sử dụng các thiết lập kiểm soát được xây dựng nhằm mục đích và extrapolate kết quả của họ cho việc triển khai của một mô hình. Tuy nhiên, hiệu quả của các biện pháp bảo vệ trong triển khai có thể phụ thuộc vào các tính năng của môi trường và nhiệm vụ mà các thiết lập kiểm soát không đại diện. Để mở rộng nơi các đánh giá kiểm soát có thể được thực hiện, chúng tôi giới thiệu các đánh giá kiểm soát mô phỏng (SCEs), sử dụng một mô hình ngôn ngữ để mô phỏng các phản ứng công cụ thay vì một môi trường.
Machine translation (Meta M2M100); the English original follows.
Control evaluations measure whether safeguards can prevent an AI model from causing undesired outcomes even when it is intentionally trying to do so. These evaluations typically use purpose-built control settings and extrapolate their results to a model's deployment. However, the effectiveness of safeguards in deployment can depend on features of environments and tasks that control settings do not represent. To broaden where control evaluations can be run, we introduce simulated control evaluations (SCEs), which use a language model to simulate tool responses in place of an environment. We eva
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.31593, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange