Jiayi Chen, Hui Li, Yujiong Shen, Qiyuan Peng, Yanxin Li, Chenhao Huang, Shaofan Liu, Guoqiang Zhang · 2026 · arXiv
DOI: 10.48550/arXiv.2610.29985 · open-access PDF
O desempenho do benchmark é o padrão dominante para a comparação de grandes modelos de linguagem (LLMs), tipicamente resumido por uma única pontuação agregada, como precisão, taxa de passagem ou pontuação de rubrica. Esta pontuação agregada fornece informações limitadas sobre as capacidades subjacentes de um modelo, mas entender essas capacidades é crucial para o desenvolvimento e avaliação de modelos. Para este fim, propomos a Avaliação Diagnóstica Induzida por Árvores (TIDE), que recria a avaliação de diagnóstico como indução de árvore de decisão orientada pelo comportamento para realizar o diagnóstico de capacidades finas.
Machine translation (Meta M2M100); the English original follows.
Benchmark performance is the dominant standard for comparing large language models (LLMs), typically summarized by a single aggregate score, such as accuracy, pass rate, or rubric score. This aggregate score provides limited information about a model's underlying capabilities, yet understanding these capabilities is crucial for model development and evaluation. To this end, we propose Tree-Induced Diagnostic Evaluation (TIDE), which recasts diagnostic evaluation as behavior-driven decision-tree induction to perform fine-grained capability diagnosis. TIDE recursively builds a hierarchical capab
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.29985, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange