Newest papers

OptionWorld: A Benchmark for Diagnosing Failures of LLMs as Long-Term Personal Assistants

Ruoyu Zhang, Zhaocen Liu, Weiyi Tian, Melissa Feng, Shilong Liu · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28491 · open-access PDF

Indonesian

Asisten jangka panjang harus mengikuti tugas-tugas yang belum selesai sepanjang hari saat informasi dan keadaan berubah. Menemukan informasi atau memulai tindakan, bagaimanapun, tidak menjamin bahwa tugas itu selesai. Kami memperkenalkan OptionWorld, sebuah benchmark yang melacak pengumpulan informasi, penilaian, tindakan, dan hasil dalam tugas-tugas kehidupan sehari-hari simulasi untuk mengidentifikasi di mana LLM saat ini jatuh pendek sebagai asisten pribadi jangka panjang. Dalam menjalankan dengan input keputusan terarsip, fakta kunci tetap dalam input terakhir model sebelum batas waktu dalam 35.5% kasus yang gagal. analisis kegagalan mengidentifikasi tiga yang paling sering terjadi

Machine translation (Meta M2M100); the English original follows.

Abstract

Long-term assistants must follow unfinished tasks across days as information and circumstances change. Finding information or starting an action, however, does not ensure that the task gets completed. We introduce OptionWorld, a benchmark that traces information acquisition, judgments, actions, and outcomes in simulated daily-life tasks to identify where current LLMs fall short as long-term personal assistants. In runs with archived decision inputs, the key facts remain in the model's last input before the deadline in 35.5% of failed instances. Failure analysis identifies the three most freque

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange