Newest papers

How Well Do Decision Models Transfer to Vietnamese? An Empirical Study of Text Classification

Phat Huu Ha, N.X. Phuc, Nong Nhut Quy, Trinh Tran Tran, Nguyen Minh Triet, Dang Van Thin · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.31422 · cited by 0 works (OpenAlex) · open-access PDF

Arabic

وتتضمن هذه الدراسة أربعة نموذجات اتخاذ القرار المتخصصة في 13 مجموعة مهمة تتراوح أعمارها بين ستة أسابيع، وتتضمن دراسة الأداء السلبي، والقدرة على التعريف باللغة الإنجليزية، والقدرة على التعريف باللغة الإنجليزية، والقدرة على التعريف باللغة الإنجليزية، والقدرة على التعريف باللغة الإنجليزية، والتعريف باللغة الإنجليزية، والقدرة على التعريف باللغة الإنجليزية، والقدرة على التعريف باللغة الإنجليزية، والقدرة على التعريف باللغة الإنجليزية، والقدرة على التعريف باللغة الإنجليزية، والقدرة على التعريف باللغة الإنجليزية، والقدرة على التعريف باللغة الإنج

Machine translation (Meta M2M100); the English original follows.

Abstract

Recent advances in specialized decision models have expanded the possibilities for zero-shot classification, yet their effectiveness on Vietnamese remains underexplored. This study evaluates four specialized decision models across 13 classification settings spanning six task groups, examining zero-shot performance, sensitivity to label-description language, and robustness to Vietnamese linguistic variations. The evaluation considers English, Vietnamese, and bilingual label descriptions, alongside common linguistic perturbations involving teencode, typographical errors, and diacritic removal. Under English label descriptions, JEV achieves the strongest overall performance, ranking first in 11 classification settings. The effects of label-description language vary across models and datasets, with bilingual descriptions providing no consistent improvement. Robustness experiments reveal that diacritic removal causes the most substantial performance degradation, reducing mean macro-$F_1$ by 9.51--15.47 points across model configurations, considerably more than teencode or typographical errors. These findings highlight the importance of label-description choices and Vietnamese orthographic variation when evaluating specialized decision models for zero-shot text classification.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Vietnamese, Computer science, Artificial intelligence, Robustness (evolution), Natural language processing, Empirical research

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange