Newest papers

OptionWorld: A Benchmark for Diagnosing Failures of LLMs as Long-Term Personal Assistants

Ruoyu Zhang, Zhaocen Liu, Weiyi Tian, Melissa Feng, Shilong Liu · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28491 · cited by 0 works (OpenAlex) · open-access PDF

German

Langfristige Assistenten müssen unvollendete Aufgaben über Tage hinweg verfolgen, wenn sich Informationen und Umstände ändern. Die Suche nach Informationen oder der Beginn einer Aktion gewährleistet jedoch nicht, dass die Aufgabe abgeschlossen wird. Wir stellen OptionWorld ein, ein Benchmark, das die Erlangung von Informationen, Urteile, Aktionen und Ergebnisse in simulierten täglichen Aufgaben verfolgt, um festzustellen, wo aktuelle LLMs als langfristige persönliche Assistenten kurzfallen. Im Zusammenhang mit archivierten Entscheidungsinputs verbleiben die wichtigsten Fakten in der letzten Eingabe des Modells vor der Frist in 35,5% der fehlgeschlagenen Fälle. Fehleranalyse identifiziert die drei häufigsten Probleme: die benötigten Informationen werden nicht erhalten oder kombiniert, die verfügbaren Möglichkeiten, ungenutzt zu werden

Machine translation (Meta M2M100); the English original follows.

Abstract

Long-term assistants must follow unfinished tasks across days as information and circumstances change. Finding information or starting an action, however, does not ensure that the task gets completed. We introduce OptionWorld, a benchmark that traces information acquisition, judgments, actions, and outcomes in simulated daily-life tasks to identify where current LLMs fall short as long-term personal assistants. In runs with archived decision inputs, the key facts remain in the model's last input before the deadline in 35.5% of failed instances. Failure analysis identifies the three most frequent problems: needed information is not obtained or combined, available opportunities to act go unused, and agents impose restrictions that the task does not require. Three follow-up experiments show that supplying missing facts restores task success in some cases; action reminders can restart work while subsequent steps still miss the deadline; and correcting a supplied note that wrongly forbids contact restores permitted inquiry. These findings locate shortcomings in maintaining task state: connecting facts to unfinished work, following through before deadlines, and separating actual restrictions from the agent's assumptions.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Benchmark (surveying), Task (project management), Action (physics), Key (lock), Computer science, Work (physics)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange