Newest papers

GoiBERT: Compact Vietnamese Language Models via Two-Stage Knowledge Distillation

Quang Anh Kiet Tran, Nam Anh Tran, Manh Hung Trinh, Thanh Danh Le, Khang Nhat Hoang Vo, Huynh Dai Nhan Tran · 2026 · arXiv

DOI: 10.48550/arXiv.2610.30067 · open-access PDF

French

Les encodeurs pré-entraînés vietnamiens se sont rapidement améliorés, mais les plus forts sont de grands modèles de vocabulaire multilingue ou dépendent de la segmentation des mots externes, ce qui les rend coûteux à déployer. Nous présentons GoiBERT, une famille de deux encodeurs vietnamiens compacts avec des paramètres 26M et 49M qui fonctionnent directement sur le texte brut. GoiBERT apprend de deux enseignants complémentaires. Un encodeur vietnamien du même token enseigne d'abord des représentations à but général. Un enseignant beaucoup plus grand fournit ensuite des conseils au niveau des tâches à travers des étiquettes douces qui sont générées sans jamais étiqueter ses propres données de formation.

Machine translation (Meta M2M100); the English original follows.

Abstract

Vietnamese pre-trained encoders have improved rapidly, but the strongest ones are large, multilingual-vocabulary models or depend on external word segmentation, which makes them costly to deploy. We present GoiBERT, a family of two compact Vietnamese encoders with 26M and 49M parameters that operate directly on raw text. GoiBERT learns from two complementary teachers. A same-tokenizer Vietnamese encoder first teaches general-purpose representations. A much larger teacher then provides task-level guidance through soft labels that are generated without ever labeling its own training data. Across

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange