Mateusz Modrzejewski, Tomasz Radzikowski · 2026 · arXiv
DOI: 10.48550/arXiv.2610.31148 · open-access PDF
Các mô hình ngôn ngữ được so sánh trên các tiêu chuẩn trả lời câu hỏi đặt ra mỗi câu hỏi trong một cụm từ, và một câu hỏi được viết lại có thể thay đổi cái nào trong hai mô hình có điểm cao hơn. Chúng tôi hỏi liệu việc đưa ra các công cụ mô hình có làm cho các so sánh như vậy ổn định hơn hay không. Tăng độ chính xác không thể trả lời điều này, bởi vì các công cụ thay đổi nhiều bước giữa câu hỏi và câu trả lời được ghi điểm cùng một lúc. Chúng tôi đề xuất một giao thức phù hợp tách các bước: đọc câu trả lời, lý luận, quyết định gọi, câu trả lời của công cụ, và báo cáo được cung cấp mà không cần một cuộc gọi. Chúng tôi áp dụng nó cho sáu mô hình mở trong năm miền dưới năm w
Machine translation (Meta M2M100); the English original follows.
Language models are compared on question-answering benchmarks that pose each question in one wording, and a reworded question can change which of two models scores higher. We ask whether giving the models tools makes such comparisons more stable. An accuracy gain cannot answer this, because tools change several steps between the question and the scored answer at once. We propose a matched protocol that separates those steps: the answer readout, reasoning, the decision to call, the tool's answer, and the report supplied without a call. We apply it to six open models in five domains under five w
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.31148, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange