Newest papers

What Makes a Good Unmasking Policy? A Controlled Study of Learned Unmasking in Diffusion Language Models

Jinya Sakurai, Xun Xu, Jaehong Yoon · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31576 · open-access PDF

German

Maskerte Diffusionssprachmodelle erzeugen Token parallel, aber ihre Effizienz hängt davon ab, welche Vorhersagen verpflichtet sind. Lernte Entschlüsselungsrichtlinien verbessern den Geschwindigkeits-Genauigkeitskompromiss, unterscheiden sich jedoch in der Überwachung, Inputs und Kapazität und verschleiern, welche Entscheidungen von Bedeutung sind. Wir betrachten beaufsichtigte Richtlinien als das Destillieren eines Entschlüsselungsverfahrens durch einen Lehrer und untersuchen unabhängig, was der Lehrer als verpflichtbar bezeichnet, auf welchen Statements die Richtlinie es nachahmt, was die Richtlinie beobachtet und wie viel die Anzahl der Funktionsbewertungen (NFE) verringern muss, um die Richtlinie zu kompensieren.

Machine translation (Meta M2M100); the English original follows.

Abstract

Masked diffusion language models generate tokens in parallel, but their efficiency depends on which predictions are committed. Learned unmasking policies improve the speed--accuracy trade-off, yet differ in supervision, inputs, and capacity, obscuring which choices matter. We view supervised policies as distilling a decoding procedure through a teacher and examine independently what the teacher labels as committable, on which states the policy imitates it, what the policy observes, and how much the number of function evaluations (NFE) must decrease to offset policy overhead. We find that label

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange