Newest papers

What Makes a Good Unmasking Policy? A Controlled Study of Learned Unmasking in Diffusion Language Models

Jinya Sakurai, Xun Xu, Jaehong Yoon · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31576 · open-access PDF

Russian

Маскированные языковые модели диффузии генерируют токены параллельно, но их эффективность зависит от того, какие предсказания совершаются.Обученные политики разоблачения улучшают скорость - точность компромисса, но различаются в надзоре, входах и емкости, скрывая, какие выборы имеют значение.Мы рассматриваем контролируемые политики как дестилирование процедуры декодирования через учителя и независимо изучаем, что учитель называет обязательным, на каких утверждениях политика имитирует ее, что политика наблюдает, и насколько количество оценок функций (NFE) должно уменьшиться, чтобы компенсировать политику.

Machine translation (Meta M2M100); the English original follows.

Abstract

Masked diffusion language models generate tokens in parallel, but their efficiency depends on which predictions are committed. Learned unmasking policies improve the speed--accuracy trade-off, yet differ in supervision, inputs, and capacity, obscuring which choices matter. We view supervised policies as distilling a decoding procedure through a teacher and examine independently what the teacher labels as committable, on which states the policy imitates it, what the policy observes, and how much the number of function evaluations (NFE) must decrease to offset policy overhead. We find that label

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange