Newest papers

Circuits of LLM Classifiers

Hadi Khalaf, Sajani Vithana, Kunal Talreja, Haewon Jeong, Viveck R. Cadambe, Flavio Calmon · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.30076 · cited by 0 works (OpenAlex) · open-access PDF

Russian

Языковые модели облегчают создание классификаторов, просто побуждая модель с образцом классифицировать. Однако их предсказания не являются ни детерминистскими, ни единообразно надежными в разных образцах. Как мы можем объединить предсказания из разных моделей, чтобы улучшить надежность? Мы рассматриваем классификаторы LLM как шумные инструменты измерения основной целевой маркировки. Наша цель состоит в том, чтобы максимизировать среднюю точность классификации при определенной средней стоимости запроса. С этой целью мы вводим схемы, которые организуют классификаторы LLM в адаптивную последовательность запросов и решений. Затем мы характеризуем оптимальную схему, получаем фундаментальные границы достижимой точности и предоставляем практическое понимание реализации оптимальной схемы. Через семь задач классифика

Machine translation (Meta M2M100); the English original follows.

Abstract

Language models make it easy to build classifiers by simply prompting a model with the sample to classify. However, their predictions are neither deterministic nor uniformly reliable across samples. How can we combine predictions from different models to improve reliability? We view LLM classifiers as noisy measurement instruments of an underlying target label. Our goal is to maximize average classification accuracy at a given average query cost. To this end, we introduce circuits that organize LLM classifiers into an adaptive sequence of queries and decisions. We then characterize the optimal circuit, obtain the fundamental limits of achievable accuracy, and provide practical insights on realizing the optimal circuit. Across seven classification tasks spanning safety, health, political science, human preference, agent evaluation, decision-making and reasoning, our method improves the cost-accuracy frontier over routing and cascading baselines.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Artificial intelligence, Machine learning, Sequence (biology), Sample (material), Random subspace method

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange