Newest papers

DecisionPivot: A Diagnostic Benchmark for Decision Models in LLM Systems

Xialie Zhuang, Mingcong Lei, Zunhai Su, Ri Liu, Jianjin Li, Peixian Ma, Jia Pan, Ngai Wong · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28522 · open-access PDF

Portuguese

Modelos de decisão suportam roteamento, guardrails e verificação de saída em sistemas LLM. No entanto, a precisão dos itens por si só não pode determinar se os modelos tomam decisões corretas em variações controladas ou atribuem confiança confiável às suas previsões. Introduzimos o DecisionPivot, um benchmark de diagnóstico composto por 48 tarefas e 40.033 itens em sete funções de decisão. Sua pista principal contém 7.800 itens de 13 famílias de tarefas geradas, organizadas em grupos de contraste com respostas computadas verificadas por solucionadores implementados de forma independente.

Machine translation (Meta M2M100); the English original follows.

Abstract

Decision models support routing, guardrails, and output verification in LLM systems. However, item accuracy alone cannot establish whether models make correct decisions across controlled variations or assign reliable confidence to their predictions. We introduce DecisionPivot, a diagnostic benchmark comprising 48 tasks and 40,033 items across seven decision roles. Its core track contains 7,800 items from 13 generated task families, organized into contrast groups with computed answers verified by independently implemented solvers. The complementary reference track contains 32,233 items from 35

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange