Newest papers

Your Benchmark Is an Empirical Measure Over Difficulty

Yifan Sun, Naicheng Yu, Jiawen Gong, Jingyan Shen, Huan Zhang · 2026 · arXiv

DOI: 10.48550/arXiv.2610.29927 · open-access PDF

Spanish

Un índice de referencia no es simplemente una colección de preguntas de prueba; naturalmente induce una medida empírica sobre la dificultad. En este trabajo, desarrollamos esta visión basada en la medida de la evaluación de los índices de referencia. Esta perspectiva nos permite identificar y formalizar dos modos centrales de fracaso: mismatch mismatch, donde la distribución de dificultad de los índices de referencia difiere de la distribución de dificultad pretendida, y las brechas de cobertura, donde las regiones descubiertas a lo largo del eje de dificultad impiden que los índices de referencia detecten un progreso de formación localizado significativo. Proponemos dos métricas de diagnóstico que capturan estos dos modos de fracaso

Machine translation (Meta M2M100); the English original follows.

Abstract

A benchmark is not merely a collection of test questions; it naturally induces an empirical measure over difficulty. In this work, we develop this measure-based view of benchmark evaluation. This perspective allows us to identify and formalize two central failure modes: measure mismatch, where the benchmark difficulty distribution differs from the intended difficulty distribution, and coverage gaps, where uncovered regions along the difficulty axis prevent benchmarks from detecting meaningful localized training progress. We propose two diagnostic metrics that capture these two failure modes an

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange