Newest papers

S-EDL: Eliciting Self-Evidence from Sequence Likelihoods for Semantic Calibration of LLMs

Yawei Li, Jiazheng Li, David Rügamer, Bernd Bischl, Yulan He, Mina Rezaei · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29832 · cited by 0 works (OpenAlex) · open-access PDF

Arabic

وتهدف تقنيات التصحيح السريع (LLMs) في نموذج لغة الكمبيوتر المفتوح إلى التحدي الوحيد لأن العديد من سلسلة التراكيب المفتوحة يمكن أن تعبر عن نفس المعنى الأساسية. تم تصميم تقنيات التصحيح السريع أي اعتمادًا على التراكيب المفتوحة أو كمالية التراكيب الفردية، مما يجعلها غير مناسبة بشكل طبيعي للطبيعة الديناميكية، متعددة الأبعاد من النتائج السماوية المفتوحة. لإزالة هذه الفجوة، نحن نقدم S-EDL، طريقة جديدة من الأدلة التي تساعد في تحسين LLMs لتصحيح التراكيب السماوية. عن طريق إزالة الأدلة من خيارات التراكيب المفتوحة بشكل كامل

Machine translation (Meta M2M100); the English original follows.

Abstract

Calibrating large language models (LLMs) in open-ended generation is uniquely challenging because many distinct token sequences can express the same underlying meaning. Prior calibration techniques target either fixed-set classification confidence or the binary correctness of individual strings, making them inherently ill-suited for the dynamic, multi-string nature of open-ended semantic outcomes. To bridge this gap, we introduce S-EDL, a novel evidential method that natively optimizes LLMs for semantic calibration. By eliciting evidence from the sequence likelihoods of the model itself, S-EDL constructs a differentiable Dirichlet prior over prompt-specific semantic classes. Optimizing the evidential loss under this prior yields a calibration-aware training signal over variable semantic classes, completely bypassing the need for fixed multiple-choice options. Evaluations across four open-ended benchmarks and three models demonstrate that S-EDL substantially reduces semantic calibration error while improving accuracy. By aligning generative likelihoods with semantic correctness, this work establishes a framework for deploying trustworthy LLMs in complex, open-ended applications. Code is available at: https://github.com/sandylaker/s-edl.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Correctness, Artificial intelligence, Calibration, Sequence (biology), Natural language processing

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange