Newest papers

Circuits of LLM Classifiers

Hadi Khalaf, Sajani Vithana, Kunal Talreja, Haewon Jeong, Viveck R. Cadambe, Flavio Calmon · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.30076 · cited by 0 works (OpenAlex) · open-access PDF

Korean

언어 모델은 단순히 샘플을 포함한 모델을 분류하도록 권장함으로써 분류기를 쉽게 만들 수 있습니다. 그러나, 그들의 예측은 샘플을 통해 결정적이거나 일관되게 신뢰할 수 없습니다. 우리는 어떻게 신뢰성을 향상시키기 위해 다른 모델에서 예측을 결합 할 수 있습니까? 우리는 LLM 분류기를 근본적인 타겟 라벨의 시끄러운 측정 도구로 간주합니다. 우리의 목표는 주어진 평균 쿼리 비용으로 평균 분류 정확도를 극대화하는 것입니다. 이를 위해, 우리는 LLM 분류자를 질문 및 결정의 적응적 순서로 구성하는 회로를 소개합니다. 우리는 최적의 회로를 특징, 달성 가능한 정확성의 근본적인 한계를 얻고 최적의 회로를 실현하는 데 실용적인 통찰력을

Machine translation (Meta M2M100); the English original follows.

Abstract

Language models make it easy to build classifiers by simply prompting a model with the sample to classify. However, their predictions are neither deterministic nor uniformly reliable across samples. How can we combine predictions from different models to improve reliability? We view LLM classifiers as noisy measurement instruments of an underlying target label. Our goal is to maximize average classification accuracy at a given average query cost. To this end, we introduce circuits that organize LLM classifiers into an adaptive sequence of queries and decisions. We then characterize the optimal circuit, obtain the fundamental limits of achievable accuracy, and provide practical insights on realizing the optimal circuit. Across seven classification tasks spanning safety, health, political science, human preference, agent evaluation, decision-making and reasoning, our method improves the cost-accuracy frontier over routing and cascading baselines.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Artificial intelligence, Machine learning, Sequence (biology), Sample (material), Random subspace method

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange