Newest papers

Cost-Aware Abstention for LLM-Based IT Ticket Classification

Sachin Gupta · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31657 · open-access PDF

Korean

IT 지원 티켓의 잘못된 자동 라우팅은 인간의 분류보다 더 비용이 많이 들 수 있습니다. 우리는 비용에 의식하는 거부를 오프라인, 비용 조건의 준비 평가로 평가합니다: 명시적인 비용으로 캘리브레이션 데이터에 대한 라우팅 정책을 선택한 다음 냉동된 정책을 보유한 테스트 데이터에 한 번 평가합니다. 공공 47,837 티켓, 8 클래스 코르푸스에서 우리는 제로 및 몇 샷 인스턴스에 따라 4 개의 대형 언어 모델과 훈련받지 않은 LLM 분류자를 비교합니다. 묘사 비용 모델 (c_ok, c_triage, c_wrong) = (0, 1, 5), 논리적 회귀와 0.60의 경계가 캘리포니아에서 선택됩니다.

Machine translation (Meta M2M100); the English original follows.

Abstract

Wrong automatic routing of an IT support ticket can cost more than human triage. We evaluate cost-aware abstention as an offline, cost-conditional readiness assessment: select a routing policy on calibration data under explicit costs, then evaluate that frozen policy once on held-out test data. On a public 47,837-ticket, eight-class corpus, we compare four trained non-LLM classifiers with four large language models under zero- and few-shot prompting. Under the illustrative cost model (c_ok, c_triage, c_wrong) = (0, 1, 5), TF-IDF with logistic regression and a threshold of 0.60 selected on cali

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange