Newest papers

Looped Uniform Diffusion Language Models

Saiteja Utpala, Chieh-Hsin Lai, Yuki Mitsufuji, Praneeth Vepakomma · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.30066 · cited by 0 works (OpenAlex) · open-access PDF

Russian

Эффективные модели диффузионного языка (UDLM) генерируют текст путем итеративного денозирования последовательностей обычных токенов словарного языка, каждая из которых может быть коррумпирована и впоследствии пересмотрена. Во время обучения UDLM должны денозировать из контекста, который сам по себе может быть ненадежным, в то время как маскированные диффузионные языковые модели (MDLM) всегда находятся в чистом контексте. Этот сложный учебный объект делает UDLM более FLOP-интенсивными для обучения, чем MDLM, но это дает более сильную результативность рассуждений вниз. В последнее время селективное прокручивание, которое рекурсивно применяет несколько ранних слоев Transformer на каждом шагу денозирования,

Machine translation (Meta M2M100); the English original follows.

Abstract

Uniform diffusion language models (UDLMs) generate text by iteratively denoising sequences of ordinary vocabulary tokens, any of which may be corrupted and subsequently revised. During training, UDLMs must denoise from a context that may itself be unreliable, whereas masked diffusion language models (MDLMs) always condition on a clean context. This challenging training objective makes UDLMs more FLOP-intensive to train than MDLMs, but it yields stronger downstream reasoning performance. Recently, selective looping, which recursively applies a few early Transformer layers within each denoising step, has been shown to improve training efficiency in MDLMs under an iso-FLOP budget. We investigate looping in UDLMs while keeping the training objective and sampler unchanged. We find that looping significantly improves training efficiency: looped UDLMs reach the validation NLL of a non-looped UDLM trained on about 0.5 trillion tokens with up to 2.8x fewer training FLOPs on OpenWebText and 3.3x fewer on FineWeb-Edu. We also find that, at a matched NFE budget, looped UDLMs reach up to 9.8% lower generation perplexity than the non-looped UDLM, with most gains achieved at moderate loop counts. Finally, we study different loop-count distributions and find that sampling smaller loop counts more frequently during training improves inference efficiency: on downstream tasks, this strategy uses 12% fewer loops than uniform loop-count sampling without degrading accuracy.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Perplexity, Language model, Computer science, Inference, Vocabulary, Context (archaeology)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange