Newest papers

Same Simulation, Different Evidence: Where Retrieved Tool Output Costs LLM Agents Accuracy

Ke Zhang, Sahchit Chundur, Jerry Peprah Owusu, Mohammad Javad Abdolhosseini Qomi, Maziar Raissi · 2026 · arXiv

DOI: 10.48550/arXiv.2610.26836 · open-access PDF

Japanese

正しい答えを計算するLLMエージェントは依然として間違った答えを返す可能性があります。エージェントの活用は、コンテキストウィンドウから長いツールの出力をどんどん保持し、エージェントが検索したり、リクエストに応じて読むファイルに保存します。我々は、これが本当の科学的ツールで正確さをコストする場所を尋ねます: PHREEQC、USGSから広く使用されている地化学シミュレータ、そのレポートは846.8k文字に達し、その決定主義はすべての印刷された値を追跡することを可能にします。エージェントは、158の実行検証された複数の選択項目に答えるためにそれを使用します。エージェントは、コンテキストではなくセク

Machine translation (Meta M2M100); the English original follows.

Abstract

LLM agents that compute the right answer can still answer wrongly. Agent harnesses increasingly keep long tool outputs out of the context window, saving them to files that the agent searches or reads on demand. We ask where this costs accuracy with a real scientific tool: PHREEQC, a widely used geochemistry simulator from the USGS, whose reports reach 846.8k characters and whose determinism lets every printed value be traced. Agents use it to answer 158 execution-verified multiple-choice items. When agents read the simulator's report through a section index rather than in context, GPT-5.1 and

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange