Newest papers

CAPSafe: A Benchmark for Contextual Action and Plan Safety Reasoning in Embodied Agents

Youmna Farag, Svetlana Stoyanchev, Simon Keizer, Mohan Li, Rama Doddipatla · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28381 · cited by 0 works (OpenAlex) · open-access PDF

Russian

Рассуждение о безопасности имеет важное значение для воплощенных агентов, работающих с большими языковыми моделями (LLM). Мы вводим базовый показатель безопасности контекстных действий и планов (CAPSafe), предназначенный для оценки соображений безопасности на двух уровнях: (1) набор данных на уровне действия, который проверяет, является ли одно действие безопасным с учетом его контекста окружающей среды, и (2) набор данных на уровне плана, который оценивает, может ли агент генерировать безопасные планы долгого горизонта для сложных опасных домашних задач. модели CAPSafe выявляют существенный разрыв между распознаванием опасностей и безопасным планированием долгого горизонта, где опасности являются ситуационными (относимыми к свойствам объекта), многочисленные опасности могут происходить одновременно в

Machine translation (Meta M2M100); the English original follows.

Abstract

Reasoning about safety is essential for embodied agents powered by large language models (LLMs). We introduce the Contextual Action and Plan Safety benchmark (CAPSafe), designed to evaluate safety reasoning at two levels: (1) an action-level dataset that tests whether a single action is safe given its environmental context, and (2) a plan-level dataset that evaluates whether agents can generate safe long-horizon plans for complex hazardous household tasks. CAPSafe models safety conditions where hazards are situational (inferred from object properties), multiple hazards can co-occur within the same environment, and each is annotated with a relative severity level for fine-grained analysis. Evaluating nine closed and open-source LLMs reveals a substantial gap between hazard recognition and safe long-horizon planning. Several models achieve high accuracy in recognizing unsafe actions (exceeding 90% in the best cases), yet safe long-horizon planning remains substantially harder. Gemini-3-pro achieves the highest safe success rate (78.19%), while other models remain below 65%. These results highlight that robust safety reasoning over long action sequences remains an open challenge.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Action (physics), Benchmark (surveying), Embodied cognition, Hazard, Risk analysis (engineering), Computer science

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange