Newest papers

SANE: Automated Scorer-Specific Metamorphic Testing for LLM Judges

Ethan Ludwick, Yu-Chung Hsiao · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28886 · open-access PDF

Indonesian

Hakim-hakim LLM semakin memanipulasi penilaian benchmark, pemilihan model, kurasi data, dan pelatihan. Keputusan mereka hanya berguna ketika setiap hakim merespon secara dapat diandalkan terhadap perubahan yang mempengaruhi kriteria penilaian. Metode yang ada untuk pengujian keandalan mengganggu input dengan efek yang diharapkan diketahui pada skor hakim. Alat pengujian hakim-hakim LLM terkemuka menggabungkan resep gangguan yang ditulis oleh manusia dengan generasi tes sintetis, meninggalkan gagasan resep spesifik penilaian di luar pipa otomatis. Ini membatasi penggunaan mereka untuk gangguan tetap dan jenis penilaian yang diprediksi. Kami memperkenalkan SANE, agen-

Machine translation (Meta M2M100); the English original follows.

Abstract

LLM judges increasingly mediate benchmark evaluation, model selection, data curation, and training. Their decisions are useful only when each judge responds reliably to changes affecting its scoring criterion. Existing methods for reliability testing perturb inputs with known expected effects on judge scores. Prominent LLM-judge testing harnesses combine human-authored perturbation recipes with synthetic test generation, leaving scorer-specific recipe ideation outside the automated pipeline. This limits their use to fixed perturbations and pre-assumed scorer types. We introduce SANE, an agent-

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange