Newest papers

OptionWorld: A Benchmark for Diagnosing Failures of LLMs as Long-Term Personal Assistants

Ruoyu Zhang, Zhaocen Liu, Weiyi Tian, Melissa Feng, Shilong Liu · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28491 · open-access PDF

Korean

정보와 상황이 변화함에 따라 장기 보조원은 하루 종일 완료되지 않은 작업을 따라야 합니다. 정보 찾기 또는 행동을 시작하는 것은 작업이 완료되는 것을 보장하지 않습니다. OptionWorld는 정보 획득, 판단, 행동 및 시뮬레이션 일상 생활 작업의 결과를 추적하여 현재 LLM이 장기 개인 보조자로 짧은 곳을 식별합니다. 아카이브 결정 입력과 함께 실행하는 경우, 주요 사실은 실패한 사례의 35.5 %에서 최종 모델 입력에 남아 있습니다. 실패 분석은 가장 흔한 세 가지를 식별합니다.

Machine translation (Meta M2M100); the English original follows.

Abstract

Long-term assistants must follow unfinished tasks across days as information and circumstances change. Finding information or starting an action, however, does not ensure that the task gets completed. We introduce OptionWorld, a benchmark that traces information acquisition, judgments, actions, and outcomes in simulated daily-life tasks to identify where current LLMs fall short as long-term personal assistants. In runs with archived decision inputs, the key facts remain in the model's last input before the deadline in 35.5% of failed instances. Failure analysis identifies the three most freque

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange