Newest papers

Cost-Aware Abstention for LLM-Based IT Ticket Classification

Sachin Gupta · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31657 · open-access PDF

Russian

Неправильное автоматическое маршрутизация билета ИТ-поддержки может стоить дороже, чем сортировка человека. Мы оцениваем осознанное расходы воздержание как оценку готовности в автономном режиме: выберите политику маршрутизации по данным калибровки при явных затратах, а затем оцените эту замороженную политику, как только на проданных тестовых данных. На общедоступном 47,837-билет, восемь-классный корпус, мы сравниваем четыре обученных не-LLM классификаторов с четырьмя большими языковыми моделями под нулевым и немногим напоминанием. Под иллюстративной моделью затрат (c_ok, c_triage, c_wrong) = (0, 1, 5), TF-IDF с логистической регресси

Machine translation (Meta M2M100); the English original follows.

Abstract

Wrong automatic routing of an IT support ticket can cost more than human triage. We evaluate cost-aware abstention as an offline, cost-conditional readiness assessment: select a routing policy on calibration data under explicit costs, then evaluate that frozen policy once on held-out test data. On a public 47,837-ticket, eight-class corpus, we compare four trained non-LLM classifiers with four large language models under zero- and few-shot prompting. Under the illustrative cost model (c_ok, c_triage, c_wrong) = (0, 1, 5), TF-IDF with logistic regression and a threshold of 0.60 selected on cali

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange