Newest papers

OptionWorld: A Benchmark for Diagnosing Failures of LLMs as Long-Term Personal Assistants

Ruoyu Zhang, Zhaocen Liu, Weiyi Tian, Melissa Feng, Shilong Liu · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28491 · open-access PDF

Vietnamese

Trợ lý dài hạn phải làm theo các nhiệm vụ chưa hoàn thành qua các ngày khi thông tin và hoàn cảnh thay đổi. Tuy nhiên, việc tìm kiếm thông tin hoặc bắt đầu hành động không đảm bảo rằng nhiệm vụ được hoàn thành. Chúng tôi giới thiệu OptionWorld, một tiêu chuẩn theo dõi việc thu thập thông tin, phán xét, hành động và kết quả trong các nhiệm vụ hàng ngày được mô phỏng để xác định nơi LLM hiện tại rơi ngắn như trợ lý cá nhân dài hạn. Trong chạy với đầu vào quyết định được lưu trữ, các sự kiện chính vẫn còn trong đầu vào cuối cùng của mô hình trước thời hạn trong 35,5% các trường hợp thất bại. Phân tích thất bại xác định ba trường hợp phổ biến nhất

Machine translation (Meta M2M100); the English original follows.

Abstract

Long-term assistants must follow unfinished tasks across days as information and circumstances change. Finding information or starting an action, however, does not ensure that the task gets completed. We introduce OptionWorld, a benchmark that traces information acquisition, judgments, actions, and outcomes in simulated daily-life tasks to identify where current LLMs fall short as long-term personal assistants. In runs with archived decision inputs, the key facts remain in the model's last input before the deadline in 35.5% of failed instances. Failure analysis identifies the three most freque

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange