Newest papers

Cost-Aware Abstention for LLM-Based IT Ticket Classification

Sachin Gupta · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31657 · open-access PDF

Arabic

يمكن أن تزيد تكلفة إرسال تذاكر الدعم التلقائي المنصوص عليها في بيانات الدعم التلقائي أكثر من تكلفة إرسال البشر. ونحن نقيس الامتناع عن التعامل مع التكاليف كبديل عن التكاليف: نختار سياسة إرسال على بيانات التقييم تحت تكلفة واضحة، ثم نقيس سياسة التدفئة مرة واحدة على البيانات الاختبارية المتبقية. على 47,837 تذاكرًا عامًا، ثمانية فئات، ونقسم إلى أربعة فئات غيرLLM المتدربة مع أربعة نموذجات لغة كبيرة تحت إشعار منخفضة ومتوسطة. تحت نموذج تكلفة نموذجي (c_ok، c_triage، c_wrong) = (0، 1,

Machine translation (Meta M2M100); the English original follows.

Abstract

Wrong automatic routing of an IT support ticket can cost more than human triage. We evaluate cost-aware abstention as an offline, cost-conditional readiness assessment: select a routing policy on calibration data under explicit costs, then evaluate that frozen policy once on held-out test data. On a public 47,837-ticket, eight-class corpus, we compare four trained non-LLM classifiers with four large language models under zero- and few-shot prompting. Under the illustrative cost model (c_ok, c_triage, c_wrong) = (0, 1, 5), TF-IDF with logistic regression and a threshold of 0.60 selected on cali

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange