Newest papers

Scaling Multilingual Pretraining of Pixel Language Models

Ilker Kesen, Jenny Kunz, Kasra Malihi, Desmond Elliott · 2026 · arXiv

DOI: 10.48550/arXiv.2610.29681 · open-access PDF

Indonesian

Model bahasa pixel memproses teks sebagai gambar yang ditampilkan alih-alih kata sandi yang terbatas, yang memberi mereka kemampuan transfer lintas-bahasa yang kuat. Namun, tidak banyak yang diketahui tentang bagaimana kemampuan ini dipengaruhi oleh pra-latihan skala yang lebih besar. Dalam makalah ini, kami melatih keluarga model MPIXEL di sepanjang tiga sumbu variasi: lebih banyak bahasa, lebih banyak skrip, dan kapasitas model yang lebih besar di bawah komputasi per-bahasa tetap. Dalam penilaian lima tugas yang mencakup 83 bahasa, kami menemukan bahwa skala bertindak secara lokal: setiap sumbu meningkatkan bahasa dan skrip yang ditambahkan, sementara peningkatan kapasitas mengurangi kutukan m

Machine translation (Meta M2M100); the English original follows.

Abstract

Pixel language models process text as rendered images instead of a finite vocabulary, which gives them strong cross-lingual transfer abilities. However, not much is known about how these abilities are influenced by larger-scale pretraining. In this paper, we train a family of MPIXEL models along three axes of variation: more languages, more scripts, and larger model capacity under fixed per-language compute. In evaluations on five tasks covering 83 languages, we find that scaling acts locally: each axis improves the added languages and scripts, while increased capacity mitigates the curse of m

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange