Newest papers

HoloCosm: Beyond Single-Metric Benchmark Compression Across Multiple Metrics

Yupei Lin, Zhongzhan Huang, Junxin Li, Guoming Ling, Shanshan Zhong, Hefeng Wu, Yukai Shi, Liang Lin · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26714 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Benchmark compression duy nhất làm giảm chi phí đánh giá bằng cách chọn một tập hợp nhỏ các mẫu. Các phương pháp hiện có thường hướng dẫn lựa chọn bằng cách sử dụng một mét, mặc dù các tiêu chuẩn thường đánh giá các mô hình dọc theo nhiều chiều. Chúng tôi thấy rằng xếp hạng mô hình thường tương quan kém trên các mét, cho thấy các mét khác nhau nắm bắt các khía cạnh khác nhau của hiệu suất mô hình trong hơn 70\% so sánh chéo-metric. Để giải quyết thách thức này, chúng tôi trình bày HoloCosm, một cách đáng tin cậy giữ điểm số và xếp hạng trên những người khác khi được sử dụng cho đánh giá nén. Tại 80\% nén, mỗi trong số năm đường cơ sở métri duy nhất tạo ra lỗi tái tạo cao hơn so với việc lấy mẫu ngẫu nhiên bằng cùng kích thước trong hơn 70\% so sánh mô hình ché

Machine translation (Meta M2M100); the English original follows.

Abstract

Benchmark compression reduces evaluation cost by selecting a small set of samples. Existing methods typically guide selection using a single metric, although benchmarks often assess models along multiple dimensions. We find that model rankings are often weakly correlated across metrics, indicating that different metrics capture distinct aspects of model performance. Samples selected for one metric do not reliably preserve scores and rankings on others when used for compressed evaluation. At 80\% compression, each of the five single-metric baselines yields higher reconstruction error than equal-size random sampling in over 70\% of cross-metric comparisons. To address this challenge, we present HoloCosm, which jointly minimizes normalized score-reconstruction error across source models and metrics while constraining ranking distortion. We evaluate HoloCosm across multiple compression rates on 15 language, multimodal, VLA, and agent benchmark configurations with 85 component metrics. With 80\% compression, HoloCosm outperforms Random, the strongest baseline overall: average NMAE drops by 35.3\% to 0.236, worst-component NMAE drops by 39.5\% to 0.330, and average Spearman correlation rises from 0.884 to 0.915. In addition, HoloCosm remains competitive with existing baselines in single-metric evaluation. We will release our code and experimental results.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Benchmark (surveying), Metric (unit), Computer science, Compression (physics), Set (abstract data type), Data mining

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange