Newest papers

Behavior Beyond Text: Evaluating Refusal Transfer Failure in LLM Agents

Ekagra Gupta, Raj Saha, Aniekan-Abasi Inyang, Adam Al Gharib · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28982 · open-access PDF

German

Während große Sprachmodelle zunehmend als Tool-Calling-Agenten eingesetzt werden, konzentrieren sich ihre Sicherheitsbewertungen immer noch hauptsächlich auf ihre Fähigkeit, schädliche Anfragen im Text abzulehnen. Wir untersuchen, ob das Ablehnungsverhalten im Text auf die Verwendung von Tools übertragen wird. Wir konstruieren einen Benchmark von 2.304 Anrufen in vier Domänen, bestehend aus übereinstimmenden Triplets, die dieselbe schädliche oder gutartige Anfrage in Text-only, Standard-tool-enabled und adversarially-framed-tool-enabled Einstellungen darstellen. Wir bewerten dann die Sicherheit von Tool-Call mit 20 vordefinierten verbotenen Aktionen.

Machine translation (Meta M2M100); the English original follows.

Abstract

While large language models are increasingly deployed as tool-calling agents, their safety evaluations still focus primarily on their ability to refuse harmful requests in text. We investigate whether the refusal behavior in text transfers to tool use. We construct a benchmark of 2,304 prompts across four domains, consisting of matched triplets that present the same harmful or benign request in text-only, standard tool-enabled, and adversarially framed tool-enabled settings. We then assess tool-call safety using 20 predefined forbidden actions. Testing five models of varying sizes and families

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange