Newest papers

Looped Uniform Diffusion Language Models

Saiteja Utpala, Chieh-Hsin Lai, Yuki Mitsufuji, Praneeth Vepakomma · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.30066 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Trong quá trình đào tạo, UDLMs phải denoise từ một bối cảnh mà chính nó có thể không đáng tin cậy, trong khi các mô hình ngôn ngữ phân tán được che giấu (MDLMs) luôn luôn điều kiện trong một bối cảnh sạch sẽ. Mục tiêu đào tạo thường xuyên này làm cho UDLMs FLOP-nhiều hơn để đào tạo so với MDLMs, nhưng nó mang lại hiệu suất lý luận mạnh hơn. Gần đây, looping chọn lọc, mà tái áp dụng một vài lớp Transformer sớm trong mỗi bước denoise, đã được chứng minh là cải thiện hiệu quả đào tạo trong MDLMs theo ngân sách iso-FLOP. Chúng tôi điều tra việc phân phối các nhiệm vụ trong UDLMs trong khi giữ cho mục tiêu đào tạo hiện đại và sampler không thay đổi. Chúng tôi thấy rằng looping cải thiện đáng kể hiệu quả đào

Machine translation (Meta M2M100); the English original follows.

Abstract

Uniform diffusion language models (UDLMs) generate text by iteratively denoising sequences of ordinary vocabulary tokens, any of which may be corrupted and subsequently revised. During training, UDLMs must denoise from a context that may itself be unreliable, whereas masked diffusion language models (MDLMs) always condition on a clean context. This challenging training objective makes UDLMs more FLOP-intensive to train than MDLMs, but it yields stronger downstream reasoning performance. Recently, selective looping, which recursively applies a few early Transformer layers within each denoising step, has been shown to improve training efficiency in MDLMs under an iso-FLOP budget. We investigate looping in UDLMs while keeping the training objective and sampler unchanged. We find that looping significantly improves training efficiency: looped UDLMs reach the validation NLL of a non-looped UDLM trained on about 0.5 trillion tokens with up to 2.8x fewer training FLOPs on OpenWebText and 3.3x fewer on FineWeb-Edu. We also find that, at a matched NFE budget, looped UDLMs reach up to 9.8% lower generation perplexity than the non-looped UDLM, with most gains achieved at moderate loop counts. Finally, we study different loop-count distributions and find that sampling smaller loop counts more frequently during training improves inference efficiency: on downstream tasks, this strategy uses 12% fewer loops than uniform loop-count sampling without degrading accuracy.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Perplexity, Language model, Computer science, Inference, Vocabulary, Context (archaeology)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange