Newest papers

Looped Uniform Diffusion Language Models

Saiteja Utpala, Chieh-Hsin Lai, Yuki Mitsufuji, Praneeth Vepakomma · 2026 · arXiv

DOI: 10.48550/arXiv.2610.30066 · open-access PDF

French

Les modèles de langage de diffusion uniforme (UDLM) génèrent du texte en dénoisant de manière itérative des séquences de jetons de vocabulaire ordinaires, qui peuvent être corrompus et révisés ultérieurement. Au cours de la formation, les UDLM doivent dénoiser à partir d'un contexte qui peut lui-même être peu fiable, tandis que les modèles de langage de diffusion masquée (MDLM) sont toujours conditionnés dans un contexte propre. Cet objectif de formation difficile rend les UDLM plus FLOP-intensives à former que les MDLM, mais il produit une performance de raisonnement plus forte en aval. Récemment, le looping sélectif, qui applique de manière récurrente quelques couches de Transformers antérieures au sein de chaque d

Machine translation (Meta M2M100); the English original follows.

Abstract

Uniform diffusion language models (UDLMs) generate text by iteratively denoising sequences of ordinary vocabulary tokens, any of which may be corrupted and subsequently revised. During training, UDLMs must denoise from a context that may itself be unreliable, whereas masked diffusion language models (MDLMs) always condition on a clean context. This challenging training objective makes UDLMs more FLOP-intensive to train than MDLMs, but it yields stronger downstream reasoning performance. Recently, selective looping, which recursively applies a few early Transformer layers within each denoising

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange