Newest papers

Prompt Sensitivity in Tool-Augmented Model Comparisons

Mateusz Modrzejewski, Tomasz Radzikowski · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31148 · open-access PDF

Portuguese

Modelos de idiomas são comparados com referências de resposta a perguntas que colocam cada pergunta em uma única formulação, e uma pergunta revertida pode mudar qual dos dois modelos tem uma pontuação mais alta. Perguntamos se dar as ferramentas de modelo torna essas comparações mais estáveis. Um ganho de precisão não pode responder a isso, porque as ferramentas mudam várias etapas entre a pergunta e a resposta pontuação de uma só vez. Propomos um protocolo correspondente que separa essas etapas: a leitura da resposta, o raciocínio, a decisão de chamar, a resposta da ferramenta e o relatório fornecido sem uma chamada. Aplicamo-lo a seis modelos abertos em cinco domínios abaixo de cinco W

Machine translation (Meta M2M100); the English original follows.

Abstract

Language models are compared on question-answering benchmarks that pose each question in one wording, and a reworded question can change which of two models scores higher. We ask whether giving the models tools makes such comparisons more stable. An accuracy gain cannot answer this, because tools change several steps between the question and the scored answer at once. We propose a matched protocol that separates those steps: the answer readout, reasoning, the decision to call, the tool's answer, and the report supplied without a call. We apply it to six open models in five domains under five w

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange