Hongyu Li, Xinlong Huang, Zhan Yu, Jing Zhao, Zhe Zhao, Juntao Zhong, Xiong Kuang, Rui Yuan · 2026 · arXiv
DOI: 10.48550/arXiv.2610.29225 · open-access PDF
현재의 LLM 안전 기준은 주로 바이너리 안전 또는 안전하지 않은 라벨에 의존하며 설명 깊이가 부족하고 자동 판단에서 낮은 일관성으로 고통받습니다.이 문제를 해결하기 위해 우리는 바이너리 분류를 초기 수준의 항목을 사용하여 바이너리 분류를 초과하는 진단 평가 프레임 워크인 DiagSafe를 소개합니다. 전 세계적으로 적용되는 AI 안전 정책에 근거하여 각 항목은 두 가지 차원에 따라 명확한 기준을 제공합니다.
Machine translation (Meta M2M100); the English original follows.
Current LLM safety benchmarks predominantly rely on binary safe or unsafe labels, lacking explanatory depth and suffering from low consistency across automated judges. To address this, we introduce DiagSafe, a diagnostic evaluation framework that moves beyond binary classification by employing prompt-level rubrics. Grounded in globally applicable AI safety policies, each rubric provides explicit criteria along two dimensions: safety, which targets concrete harms with specific exemptions to suppress false positives, and usefulness, which independently evaluates instruction fulfillment. To ensur
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.29225, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange