Hongyu Li, Xinlong Huang, Zhan Yu, Jing Zhao, Zhe Zhao, Juntao Zhong, Xiong Kuang, Rui Yuan · 2026 · arXiv
DOI: 10.48550/arXiv.2610.29225 · open-access PDF
Les critères de référence de sécurité LLM actuels reposent principalement sur des étiquettes binaire sécurisées ou non sécurisées, manquant de profondeur explicative et souffrant de faible cohérence sur les juges automatisés. Pour y remédier, nous présentons DiagSafe, un cadre d'évaluation diagnostique qui dépasse la classification binaire en utilisant des rubriques de niveau prompt. Basé sur des politiques de sécurité d'IA applicables à l'échelle mondiale, chaque rubrique fournit des critères explicites sur deux dimensions: la sécurité, qui vise les dommages concrets avec des exemptions spécifiques pour supprimer les faux positifs, et l'utilité, qui évalue indépendamment le respect des instructions.
Machine translation (Meta M2M100); the English original follows.
Current LLM safety benchmarks predominantly rely on binary safe or unsafe labels, lacking explanatory depth and suffering from low consistency across automated judges. To address this, we introduce DiagSafe, a diagnostic evaluation framework that moves beyond binary classification by employing prompt-level rubrics. Grounded in globally applicable AI safety policies, each rubric provides explicit criteria along two dimensions: safety, which targets concrete harms with specific exemptions to suppress false positives, and usefulness, which independently evaluates instruction fulfillment. To ensur
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.29225, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange