Newest papers

EpiSEM-Bench: Evaluating Safety and Evidence Recovery in LLM Agents under Missing Evidence

Qijin Zhang, Hanzhen Wang, Yuehan Zhao, Haoyu Dai, Yao Shu, Zhongxiang Dai, Shuang Qiu · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31650 · open-access PDF

Hindi

उपकरण-उपयोगी भाषा मॉडल एजेंट पर्यावरण तथ्यों पर भरोसा करते हैं ताकि यह तय किया जा सके कि कोई कार्रवाई की अनुमति है. जब एक उपकरण प्रतिक्रिया एक सुरक्षा प्रासंगिक तथ्य छोड़ देती है, तो एक एजेंट एक निषिद्ध कार्रवाई को निष्पादित कर सकता है भले ही उपयोगकर्ता अनुरोध हानिकारक है और प्रत्येक वापस दिए गए बयान सच है. हम \bench{} को पेश करते हैं, जो एक निष्पादित संदर्भ है जो असुरक्षित निष्पादन, सुरक्षा सीमाओं का मूल्यांकन करने के लिए है, और एजेंटों में सबूतों को पुनर्प्राप्त करता है. इसमें छह डोमेनों पर 300 जोड़े गए असुरक्षित/सुरक्षित कार्य जोड़े होते हैं. महत्वपूर्ण तथ्यों को व्यवस्थित रूप से दबाने के द्वारा, संदर्

Machine translation (Meta M2M100); the English original follows.

Abstract

Tool-using language model agents rely on environmental facts to decide whether an action is permitted. When a tool response omits a safety-relevant fact, an agent may carry out a prohibited action even though the user request is benign and every returned statement is true. We introduce \bench{}, an executable benchmark for evaluating unsafe execution, safety boundaries, and evidence recovery in LLM agents under missing evidence. It contains 300 matched unsafe/safe task pairs across six domains. By systematically suppressing critical facts, the benchmark measures unsafe execution under critical

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange