Yupei Lin, Zhongzhan Huang, Junxin Li, Guoming Ling, Shanshan Zhong, Hefeng Wu, Yukai Shi, Liang Lin · 2026 · arXiv
DOI: 10.48550/arXiv.2610.26714 · open-access PDF
Kompresi benchmark mengurangi biaya evaluasi dengan memilih set kecil sampel. Metode yang ada biasanya membimbing pemilihan menggunakan satu metrik, meskipun referensi sering mengevaluasi model di sepanjang beberapa dimensi. Kami menemukan bahwa peringkat model sering berkorelasi lemah di seluruh metrik, menunjukkan bahwa metrik yang berbeda menangkap aspek yang berbeda dari kinerja model. Sampel yang dipilih untuk satu metrik tidak dapat diandalkan menyimpan skor dan peringkat pada yang lain ketika digunakan untuk evaluasi terkompresi. Pada kompresi 80\%, masing-masing dari lima garis dasar metrik tunggal menghasilkan kesalahan rekonstruksi yang lebih tinggi daripada yang sama.
Machine translation (Meta M2M100); the English original follows.
Benchmark compression reduces evaluation cost by selecting a small set of samples. Existing methods typically guide selection using a single metric, although benchmarks often assess models along multiple dimensions. We find that model rankings are often weakly correlated across metrics, indicating that different metrics capture distinct aspects of model performance. Samples selected for one metric do not reliably preserve scores and rankings on others when used for compressed evaluation. At 80\% compression, each of the five single-metric baselines yields higher reconstruction error than equal
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.26714, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange