Newest papers

Prompt Sensitivity in Tool-Augmented Model Comparisons

Mateusz Modrzejewski, Tomasz Radzikowski · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31148 · open-access PDF

Japanese

言語モデルは、それぞれの質問を一つの文法で提出する質問回答ベンチマークで比較され、再発音された質問は、2つのモデルのどちらがより高いスコアを変更することができます。 モデルツールを提供することで、そのような比較がより安定するかどうかを尋ねます。 正確性の向上は、ツールが質問と得点された答えの間のいくつかのステップを一斉に変更するため、これを答えません。 私たちは、これらのステップを分離する一致したプロトコルを提案します:答えの読み取り、推論、呼び出しの決定、ツールの回答、および呼び出しなしで提供されたレポート。

Machine translation (Meta M2M100); the English original follows.

Abstract

Language models are compared on question-answering benchmarks that pose each question in one wording, and a reworded question can change which of two models scores higher. We ask whether giving the models tools makes such comparisons more stable. An accuracy gain cannot answer this, because tools change several steps between the question and the scored answer at once. We propose a matched protocol that separates those steps: the answer readout, reasoning, the decision to call, the tool's answer, and the report supplied without a call. We apply it to six open models in five domains under five w

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange