Newest papers

Your Benchmark Is an Empirical Measure Over Difficulty

Yifan Sun, Naicheng Yu, Jiawen Gong, Jingyan Shen, Huan Zhang · 2026 · arXiv

DOI: 10.48550/arXiv.2610.29927 · open-access PDF

Arabic

لا توجد مجرد مجموعة من الأسئلة الاختبارية، بل إنها تؤدي بشكل طبيعي إلى قياس تجريبي على الصعوبة.في هذه العملية، ونحن نطمح إلى تطوير هذا النظرة القابلة للقياس على الصعوبة.هذه النظرة تتيح لنا أن نحدد وتحديد طرق الفشل الداخليين: الفشل المحدد، حيث يختلف توزيع الصعوبة عن توزيع الصعوبة المحدد، و الفشل المحدد، حيث يمنع المناطق التي تم اكتشافها على أطراف الصعوبة من اكتشاف تطور التدريب المحلي المعقد.

Machine translation (Meta M2M100); the English original follows.

Abstract

A benchmark is not merely a collection of test questions; it naturally induces an empirical measure over difficulty. In this work, we develop this measure-based view of benchmark evaluation. This perspective allows us to identify and formalize two central failure modes: measure mismatch, where the benchmark difficulty distribution differs from the intended difficulty distribution, and coverage gaps, where uncovered regions along the difficulty axis prevent benchmarks from detecting meaningful localized training progress. We propose two diagnostic metrics that capture these two failure modes an

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange