Xu Li, Simon Yu, Minzhou Pan, Yiyou Sun, Zhaorun Chen, Bo Li, Weiyan Shi · 2026 · arXiv
DOI: 10.48550/arXiv.2610.28934 · open-access PDF
Các đại lý mã hóa bây giờ hoàn thành các nhiệm vụ một cách tự động, sửa đổi trạng thái thế giới thực như hiện vật, môi trường phần mềm và cấu hình trên đường đi. Tuy nhiên, họ thể hiện nhận thức về sao lưu hạn chế: nhận ra rằng một hành động sẽ sửa đổi trạng thái có thể cần thiết sau này, và bảo tồn nó trước. Để đánh giá nhận thức về sao lưu, chúng tôi giới thiệu RegretBench, một tiêu chuẩn của 205 nhiệm vụ có thể thực hiện dựa trên những khoảnh khắc hối tiếc được báo cáo trên các nền tảng như X.com, GitHub và Stack Overflow, nơi người dùng rõ ràng hối tiếc không bảo tồn trạng thái mà họ cần sau này.
Machine translation (Meta M2M100); the English original follows.
Coding agents now complete tasks autonomously, modifying real-world state such as artifacts, software environments, and configurations along the way. Yet they show limited backup awareness: recognizing that an action will modify state that may later be needed, and preserving it beforehand. To evaluate backup awareness, we introduce RegretBench, a benchmark of 205 executable tasks grounded in regret moments reported on platforms such as X.com, GitHub, and Stack Overflow, where users explicitly regretted not preserving state they later needed. Across six frontier models, agents complete 86.1% of
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.28934, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange