Newest papers

Same Simulation, Different Evidence: Where Retrieved Tool Output Costs LLM Agents Accuracy

Ke Zhang, Sahchit Chundur, Jerry Peprah Owusu, Mohammad Javad Abdolhosseini Qomi, Maziar Raissi · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26836 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các đại lý LLM sửa chữa là những người tính toán câu trả lời chính xác vẫn có thể trả lời sai. Các đại lý sử dụng ngày càng giữ các đầu ra công cụ dài ra khỏi cửa sổ ngữ cảnh, lưu chúng vào các tệp mà các đại lý tìm kiếm hoặc đọc theo yêu cầu. Chúng tôi hỏi nơi điều này chi phí độ chính xác với một công cụ khoa học thực sự: PHREEQC, một mô phỏng địa hóa được sử dụng rộng rãi từ USGS, có báo cáo đạt đến 846.8k ký tự và có tính xác định cho phép mỗi giá trị in được theo dõi. Các đại lý sử dụng nó để trả lời 158 các mặt hàng nhiều lựa chọn được xác minh thực hiện. Khi các đại lý đọc báo cáo của mô phỏng thông qua một chỉ số phần thay vì trong ngữ cảnh, GPT-5.1 và GPT-5.2 mất 11.3 và 7.9 điểm chính xác, trong khi

Machine translation (Meta M2M100); the English original follows.

Abstract

LLM agents that compute the right answer can still answer wrongly. Agent harnesses increasingly keep long tool outputs out of the context window, saving them to files that the agent searches or reads on demand. We ask where this costs accuracy with a real scientific tool: PHREEQC, a widely used geochemistry simulator from the USGS, whose reports reach 846.8k characters and whose determinism lets every printed value be traced. Agents use it to answer 158 execution-verified multiple-choice items. When agents read the simulator's report through a section index rather than in context, GPT-5.1 and GPT-5.2 lose 11.3 and 7.9 points of accuracy, while Claude Opus 4.6 and Claude Sonnet 4.6 show no detectable cost. Re-running all 11,007 logged simulator calls shows that both GPT models compute the keyed value about as often as before; what changes is the evidence they answer from. Under retrieval they often skip the report, answer from their own higher-precision output files, and misround to a neighboring option, a failure we call evidence substitution. With the simulation held fixed, retrieval still costs GPT-5.2 9.4 points. For GPT-5.4, more frequent correct simulations mask an evidence-use loss of about ten points, leaving a net change indistinguishable from zero. Naming the authoritative output raises accuracy by 6.3-7.9 points over plain retrieval for the three GPT models; for GPT-5.1 and GPT-5.2, inlining outputs that fit works as well, while asking for correct rounding does not. Context-management choices in agent harnesses should be judged by where accuracy is lost, not only by final accuracy.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Rounding, Context (archaeology), Value (mathematics), Section (typography), Ask price

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange