Newest papers

Correlated Failures of AI Approval Monitors

Luca Zanolini · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29178 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Trước khi một cuộc tấn công khủng hoảng AI khủng hoảng tấn công đơn lệnh thực hiện một hành động hậu quả dữ liệu, chẳng hạn như thanh toán, tin nhắn hoặc thay đổi mã, nhiều màn hình thanh toán kiểm tra nó. phán quyết của họ được kết hợp bằng cách tổng hợp điểm số hoặc bằng cách đếm sự chấp thuận an ninh, bất kể đầu vào của monitors chia sẻ. Các màn hình mà chia sẻ một mô hình cơ bản hoặc đầu vào bị nhiễm độc có thể thất bại cùng nhau. Chúng tôi cho vay các hệ thống có khả năng thất bại của máy tính phân tán: danh sách các mô hình màn hình khủng hoảng có thể thất bại cùng nhau. Một quy tắc an toàn nếu nó không thực hiện hành động xấu và sống nếu nó không ngăn chặn tốt. Chúng tôi đo lường mười hai màn hình mở trọng lượng nhỏ trên sự chấp thuận thanh toán theo hai giao thức

Machine translation (Meta M2M100); the English original follows.

Abstract

Before an AI agent takes a consequential action, such as paying, messaging or changing code, several monitors check it. Their verdicts are combined by aggregating scores or by counting approvals, whatever inputs the monitors share. Monitors that share a base model or a poisoned input, however, may fail together. We borrow the fail-prone systems of distributed computing: lists of monitor sets that may fail together. A rule is safe if it executes no bad action and live if it blocks no good one. We measured twelve small open-weights monitors on payment approval under two pre-registered protocols. Without pre-registration, we also measured three closed frontier models (Claude Opus 5.5, GPT-6 Astra, Gemini 4 Argon) and the open DeepSeek-V3.2. Every reliable fooling of a monitor into approving a fraud came through an evidence source and reached only that source's readers. Fooling it into blocking a correct payment depended on injection resistance, a monitor's refusal to follow instructions planted in its data. Small models and DeepSeek obeyed such notes. The three closed models ignored them in all but one case, and Opus also resisted persuasion tailored to it. On new data, a rule that counts sources instead of votes blocked 0.9% of correct payments, against 7.4% for the best counting rule, at equal safety. The pre-registered worst-case test failed. One attack left the approvers on a single source, so no rule over the twelve language-model monitors survives every measured attack. Adding a rule engine, which cannot be persuaded, restored the condition for a safe and live rule on the measured attacks. Diversify the inputs, harden the monitors, count sources, not votes.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Payment, Computer science, Persuasion, Action (physics), Computer security, Base (topology)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange