Leon Tu Nguyen, Rohan Menon, Rafael Tappe Maestro, Eric Aubinais, Chih-Hong Cheng · 2026 · arXiv
DOI: 10.48550/arXiv.2610.26595 · open-access PDF
Jailbreak-Methoden werden üblicherweise mit Attack Success Rate (ASR) verglichen, aber diese Vergleiche hängen davon ab, wie Antworten generiert und beurteilt werden. In diesem Papier untersuchen wir acht Angriffe gegen drei offene Sprachmodelle mithilfe von drei Bewertungsverfahren. Low-Resource-Sprachangriffe berichten von einem durchschnittlichen ASR von 96.0% unter Keyword Matching, aber 2.7% unter einem Qwen3-Evaluator nach StrongREJECT-Scoring-Anweisungen. Ändern der Anzahl und der Anordnung der Versuche kehrt das Ranking von DeepInception und Rewrite um. In einem separaten Experiment sammeln 100 Antworten für jede unveränderte Anfrage bei
Machine translation (Meta M2M100); the English original follows.
Jailbreak methods are commonly compared using Attack Success Rate (ASR), but these comparisons depend on how responses are generated and judged. In this paper, we examine eight attacks against three open-weight language models using three evaluation procedures. Low-resource language attacks achieve a mean ASR of 96.0% under keyword matching but 2.7% under a Qwen3 evaluator following StrongREJECT scoring instructions. Changing the number and arrangement of attempts reverses the ranking of DeepInception and rewriting. In a separate experiment, sampling 100 responses for each unchanged request at
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.26595, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange