Newest papers

Looped Uniform Diffusion Language Models

Saiteja Utpala, Chieh-Hsin Lai, Yuki Mitsufuji, Praneeth Vepakomma · 2026 · arXiv

DOI: 10.48550/arXiv.2610.30066 · open-access PDF

Japanese

Uniform Diffusion Language Models (UDLMs) は、通常の語彙トークンのセクションを反復的にデノシングすることによってテキストを生成し、そのうちのいずれも破壊され、その後修正される可能性があります。トレーニング中に、UDLMs は、それ自体が信頼できない文脈からデノシングしなければなりませんが、マスクされたディノシング言語モデル (MDLMs) は常にクリーンな文脈で条件を設定します。この挑戦的なトレーニング目標は、UDLMs を MDLMs より FLOP 強くトレーニングしますが、それはより強力な下流推論パフォーマンスを生み出します。最近、選択的なループニングは、それぞれのデノシング内のいくつかの

Machine translation (Meta M2M100); the English original follows.

Abstract

Uniform diffusion language models (UDLMs) generate text by iteratively denoising sequences of ordinary vocabulary tokens, any of which may be corrupted and subsequently revised. During training, UDLMs must denoise from a context that may itself be unreliable, whereas masked diffusion language models (MDLMs) always condition on a clean context. This challenging training objective makes UDLMs more FLOP-intensive to train than MDLMs, but it yields stronger downstream reasoning performance. Recently, selective looping, which recursively applies a few early Transformer layers within each denoising

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange