Concerns in Benchmarking Jailbreaks: An Empirical Study of Attack Success Rates

Leon Tu Nguyen, Rohan Menon, Rafael Tappe Maestro, Eric Aubinais, Chih-Hong Cheng · 2026 · arXiv

DOI: 10.48550/arXiv.2610.26595 · open-access PDF

Arabic

يتم مقارنة أساليب إطلاق النار باستخدام معدل النجاح في الهجوم (ASR)، ولكن هذه المقارنة تعتمد على كيفية إنشاء الاستجابة وتقييمها. في هذه المقالة، نحن نبحث عن ثمانية هجمات ضد ثلاثة نموذج لغة مفتوحة باستخدام ثلاث عملية تقييم. هجمات لغة منخفضة الموارد تقرر متوسط معدل ASR من 96.0٪ تحت تقييم الكلمات الرئيسية ولكن 2.7% تحت تقييم Qwen3 استناداً إلى إرشادات تقييم StrongREJECT. تغير عدد وتصميم محاولات تغير مستوى DeepInception و rewrite. في تجربة منفصلة، اختبار 100 إجابة لكل طلب غير متغير في

Machine translation (Meta M2M100); the English original follows.

Abstract

Jailbreak methods are commonly compared using Attack Success Rate (ASR), but these comparisons depend on how responses are generated and judged. In this paper, we examine eight attacks against three open-weight language models using three evaluation procedures. Low-resource language attacks achieve a mean ASR of 96.0% under keyword matching but 2.7% under a Qwen3 evaluator following StrongREJECT scoring instructions. Changing the number and arrangement of attempts reverses the ranking of DeepInception and rewriting. In a separate experiment, sampling 100 responses for each unchanged request at

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Is this paper real? This page was built from OpenAlex and arXiv records, not generated. Software can verify any reference in one call: GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.26595, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txt

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange