Xialie Zhuang, Mingcong Lei, Zunhai Su, Ri Liu, Jianjin Li, Peixian Ma, Jia Pan, Ngai Wong · 2026 · arXiv
DOI: 10.48550/arXiv.2610.28522 · open-access PDF
Các mô hình quyết định hỗ trợ định tuyến, hàng rào bảo vệ và xác minh đầu ra trong các hệ thống LLM. Tuy nhiên, độ chính xác của mục một mình không thể xác định xem các mô hình có đưa ra quyết định đúng đắn trên các biến thể được kiểm soát hay phân bổ sự tự tin đáng tin cậy cho các dự đoán của họ. Chúng tôi giới thiệu DecisionPivot, một tiêu chuẩn chẩn đoán bao gồm 48 nhiệm vụ và 40.033 mục trên bảy vai trò quyết định. đường dẫn cốt lõi của nó chứa 7.800 mục từ 13 gia đình nhiệm vụ được tạo ra, được tổ chức thành các nhóm tương phản với các câu trả lời được xác minh bởi các nhà giải quyết được thực hiện độc lập. đường dẫn tham chiếu bổ sung chứa 32.233 mục từ 35
Machine translation (Meta M2M100); the English original follows.
Decision models support routing, guardrails, and output verification in LLM systems. However, item accuracy alone cannot establish whether models make correct decisions across controlled variations or assign reliable confidence to their predictions. We introduce DecisionPivot, a diagnostic benchmark comprising 48 tasks and 40,033 items across seven decision roles. Its core track contains 7,800 items from 13 generated task families, organized into contrast groups with computed answers verified by independently implemented solvers. The complementary reference track contains 32,233 items from 35
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.28522, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange