Newest papers

How Well Do Decision Models Transfer to Vietnamese? An Empirical Study of Text Classification

Phat Huu Ha, N.X. Phuc, Nong Nhut Quy, Trinh Tran Tran, Nguyen Minh Triet, Dang Van Thin · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.31422 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Những tiến bộ gần đây trong các mô hình quyết định chuyên ngành đã mở rộng khả năng phân loại zero-shot, nhưng hiệu quả của chúng đối với người Việt Nam vẫn chưa được khám phá. Nghiên cứu này đánh giá bốn mô hình quyết định chuyên ngành trên 13 thiết lập phân loại trải dài sáu nhóm nhiệm vụ, kiểm tra hiệu suất zero-shot, nhạy cảm với ngôn ngữ mô tả nhãn, và độ bền với các biến thể ngôn ngữ Việt Nam. Việc đánh giá xem xét các mô tả nhãn tiếng Anh, tiếng Việt và hai ngôn ngữ, cùng với các rối loạn ngôn ngữ phổ biến liên quan đến mã tin, lỗi in ấn, và loại bỏ diacritic. Dưới các mô tả nhãn tiếng Anh, JEV đạt được hiệu suất tổng thể mạnh nhất, xếp hạng đầu tiên trong 11 thiết lập phân loại. Các hiệu ứng của ngôn ngữ mô tả nhãn khác nhau trên các mô hình và

Machine translation (Meta M2M100); the English original follows.

Abstract

Recent advances in specialized decision models have expanded the possibilities for zero-shot classification, yet their effectiveness on Vietnamese remains underexplored. This study evaluates four specialized decision models across 13 classification settings spanning six task groups, examining zero-shot performance, sensitivity to label-description language, and robustness to Vietnamese linguistic variations. The evaluation considers English, Vietnamese, and bilingual label descriptions, alongside common linguistic perturbations involving teencode, typographical errors, and diacritic removal. Under English label descriptions, JEV achieves the strongest overall performance, ranking first in 11 classification settings. The effects of label-description language vary across models and datasets, with bilingual descriptions providing no consistent improvement. Robustness experiments reveal that diacritic removal causes the most substantial performance degradation, reducing mean macro-$F_1$ by 9.51--15.47 points across model configurations, considerably more than teencode or typographical errors. These findings highlight the importance of label-description choices and Vietnamese orthographic variation when evaluating specialized decision models for zero-shot text classification.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Vietnamese, Computer science, Artificial intelligence, Robustness (evolution), Natural language processing, Empirical research

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange