Newest papers

Same Simulation, Different Evidence: Where Retrieved Tool Output Costs LLM Agents Accuracy

Ke Zhang, Sahchit Chundur, Jerry Peprah Owusu, Mohammad Javad Abdolhosseini Qomi, Maziar Raissi · 2026 · arXiv

DOI: 10.48550/arXiv.2610.26836 · open-access PDF

Portuguese

Os agentes LLM que calculam a resposta correta ainda podem responder incorretamente. Os agentes aproveitam cada vez mais para manter as saídas de ferramentas longas fora da janela de contexto, salvando-as em arquivos que o agente procura ou lê sob demanda. Perguntamos onde isso custa precisão com uma verdadeira ferramenta científica: PHREEQC, um simulador de geoquímica amplamente utilizado do USGS, cujos relatórios atingem 846.8k caracteres e cujo determinismo permite que cada valor impresso seja rastreado. Os agentes usam-no para responder a 158 itens de múltipla escolha verificados pela execução. Quando os agentes leem o relatório do simulador através de um índice de seção em vez de no contexto, GPT-5.1 e

Machine translation (Meta M2M100); the English original follows.

Abstract

LLM agents that compute the right answer can still answer wrongly. Agent harnesses increasingly keep long tool outputs out of the context window, saving them to files that the agent searches or reads on demand. We ask where this costs accuracy with a real scientific tool: PHREEQC, a widely used geochemistry simulator from the USGS, whose reports reach 846.8k characters and whose determinism lets every printed value be traced. Agents use it to answer 158 execution-verified multiple-choice items. When agents read the simulator's report through a section index rather than in context, GPT-5.1 and

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange