Newest papers

GoiBERT: Compact Vietnamese Language Models via Two-Stage Knowledge Distillation

Quang Anh Kiet Tran, Nam Anh Tran, Trinh Manh Hung, Thanh Danh Le, Khang Nhat Hoang Vo, Huynh Dai Nhan Tran · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.30067 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các bộ mã hóa Việt Nam được đào tạo trước đã được cải thiện nhanh chóng, nhưng những bộ mã hóa mạnh nhất là các mô hình lớn, đa ngôn ngữ hoặc phụ thuộc vào phân đoạn từ bên ngoài, điều này làm cho chúng tốn kém để triển khai. Chúng tôi trình bày GoiBERT, một gia đình của hai bộ mã hóa Việt Nam nhỏ gọn với các thông số 26M và 49M hoạt động trực tiếp trên văn bản thô. GoiBERT học hỏi từ hai giáo viên bổ sung. Một bộ mã hóa Việt Nam cùng tên đầu tiên dạy đại diện mục đích chung. Một giáo viên lớn hơn nhiều sau đó cung cấp hướng dẫn cấp nhiệm vụ thông qua nhãn mềm được tạo ra mà không bao giờ dán nhãn dữ liệu đào tạo của riêng mình. Trên tám tiêu chuẩn bao gồm phân loại văn bản, phân tích cảm xúc dựa trên khía cạnh, suy luận ngôn ngữ tự nhiên, và công nhận thực thể, Go

Machine translation (Meta M2M100); the English original follows.

Abstract

Vietnamese pre-trained encoders have improved rapidly, but the strongest ones are large, multilingual-vocabulary models or depend on external word segmentation, which makes them costly to deploy. We present GoiBERT, a family of two compact Vietnamese encoders with 26M and 49M parameters that operate directly on raw text. GoiBERT learns from two complementary teachers. A same-tokenizer Vietnamese encoder first teaches general-purpose representations. A much larger teacher then provides task-level guidance through soft labels that are generated without ever labeling its own training data. Across eight benchmarks covering text classification, aspect-based sentiment analysis, natural language inference, and named entity recognition, GoiBERT-large achieves the highest average score among non-teacher models. It does so with fewer than half the parameters of the strongest compact baseline and twice its throughput. GoiBERT-base retains 99% of that baseline's performance at a quarter of its size. Our analysis shows that compression is nearly lossless for sentiment and classification tasks but remains costly for inference and entity recognition, which points to clear directions for future work. Our code and models are available at: https://github.com/Nhantran65/GoiBERT.git

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Vietnamese, Computer science, Encoder, Natural language processing, Artificial intelligence, Lossless compression

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange