Newest papers

Scaling Multilingual Pretraining of Pixel Language Models

Ilker Kesen, Jenny Kunz, Kasra Malihi, Desmond Elliott · 2026 · arXiv

DOI: 10.48550/arXiv.2610.29681 · open-access PDF

Hindi

पिक्सेल भाषा मॉडल एक समाप्त शब्दकोश के बजाय चित्रित छवियों के रूप में पाठ को संसाधित करते हैं, जिससे उन्हें मजबूत पार-भाषा संचरण क्षमताएं मिलती हैं. हालांकि, इस बारे में बहुत कुछ ज्ञात नहीं है कि इन क्षमताओं को बड़े पैमाने पर पूर्व प्रशिक्षण द्वारा कैसे प्रभावित किया जाता है. इस दस्तावेज़ में, हम MPIXEL मॉडल के एक परिवार को तीन प्रकार की विविधताओं के साथ प्रशिक्षित करते हैं: अधिक भाषाएं, अधिक स्क्रिप्ट, और प्रति-भाषा कंप्यूटिंग के तहत बड़े पैमाने पर मॉडल क्षमता।

Machine translation (Meta M2M100); the English original follows.

Abstract

Pixel language models process text as rendered images instead of a finite vocabulary, which gives them strong cross-lingual transfer abilities. However, not much is known about how these abilities are influenced by larger-scale pretraining. In this paper, we train a family of MPIXEL models along three axes of variation: more languages, more scripts, and larger model capacity under fixed per-language compute. In evaluations on five tasks covering 83 languages, we find that scaling acts locally: each axis improves the added languages and scripts, while increased capacity mitigates the curse of m

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange