Newest papers

OptionWorld: A Benchmark for Diagnosing Failures of LLMs as Long-Term Personal Assistants

Ruoyu Zhang, Zhaocen Liu, Weiyi Tian, Melissa Feng, Shilong Liu · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28491 · open-access PDF

Russian

Долгосрочные помощники должны следить за незавершенными задачами в течение нескольких дней, поскольку информация и обстоятельства меняются. Найти информацию или начать действие, однако, не гарантирует, что задача будет завершена. Мы вводим OptionWorld, ориентир, который отслеживает получение информации, суждения, действия и результаты в симулированных повседневных задачах, чтобы определить, где текущие LLM не являются долгосрочными персональными помощниками. В работе с архивными вводами решений ключевые факты остаются в последнем вводе модели до истечения срока в 35,5% неудачных случаев. Анализ неудач идентифицирует три наиболее частых

Machine translation (Meta M2M100); the English original follows.

Abstract

Long-term assistants must follow unfinished tasks across days as information and circumstances change. Finding information or starting an action, however, does not ensure that the task gets completed. We introduce OptionWorld, a benchmark that traces information acquisition, judgments, actions, and outcomes in simulated daily-life tasks to identify where current LLMs fall short as long-term personal assistants. In runs with archived decision inputs, the key facts remain in the model's last input before the deadline in 35.5% of failed instances. Failure analysis identifies the three most freque

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange