Leon Tu Nguyen, Rohan Menon, Rafael Tappe Maestro, Eric Aubinais, Chih-Hong Cheng · 2026 · arXiv
DOI: 10.48550/arXiv.2610.26595 · open-access PDF
Các phương pháp Jailbreak thường được so sánh bằng cách sử dụng Tỷ lệ thành công tấn công (ASR), nhưng những so sánh này phụ thuộc vào cách phản hồi được tạo ra và đánh giá. Trong bài báo này, chúng tôi xem xét tám cuộc tấn công chống lại ba mô hình ngôn ngữ trọng lượng mở bằng cách sử dụng ba thủ tục đánh giá. Các cuộc tấn công ngôn ngữ tài nguyên thấp báo cáo ASR trung bình là 96,0% dưới sự phù hợp từ khóa nhưng 2,7% dưới một nhà đánh giá Qwen3 theo hướng dẫn đánh giá StrongREJECT. Thay đổi số lượng và sắp xếp các nỗ lực đảo ngược thứ hạng của DeepInception và viết lại. Trong một thí nghiệm riêng biệt, lấy mẫu 100 câu trả lời cho mỗi yêu cầu không thay đổi tại
Machine translation (Meta M2M100); the English original follows.
Jailbreak methods are commonly compared using Attack Success Rate (ASR), but these comparisons depend on how responses are generated and judged. In this paper, we examine eight attacks against three open-weight language models using three evaluation procedures. Low-resource language attacks achieve a mean ASR of 96.0% under keyword matching but 2.7% under a Qwen3 evaluator following StrongREJECT scoring instructions. Changing the number and arrangement of attempts reverses the ranking of DeepInception and rewriting. In a separate experiment, sampling 100 responses for each unchanged request at
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.26595, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange