Newest papers

What Makes a Good Unmasking Policy? A Controlled Study of Learned Unmasking in Diffusion Language Models

Jinya Sakurai, Xun Xu, Jaehong Yoon · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.31576 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các mô hình ngôn ngữ phân tán được che giấu tạo ra token song song, nhưng hiệu quả của chúng phụ thuộc vào những dự đoán nào được cam kết. Các chính sách giải mã được học cải thiện sự trao đổi tốc độ - độ chính xác, nhưng khác nhau về giám sát, đầu vào và khả năng, che giấu những lựa chọn quan trọng. Chúng tôi thấy các chính sách được giám sát là phân tán một thủ tục giải mã thông qua một giáo viên và kiểm tra độc lập những gì giáo viên dán nhãn là có thể cam kết, trên đó tuyên bố chính sách bắt chước nó, những gì chính sách quan sát, và số lượng các đánh giá chức năng (NFE) phải giảm đến mức nào để bù đắp chính sách. Chúng tôi thấy rằng các dự đoán dán nhãn phù hợp với kết quả cuối cùng là quá cho phép ở mức thấp NFE, và các trạng thái ẩn là yếu nhưng có thể bổ sung

Machine translation (Meta M2M100); the English original follows.

Abstract

Masked diffusion language models generate tokens in parallel, but their efficiency depends on which predictions are committed. Learned unmasking policies improve the speed--accuracy trade-off, yet differ in supervision, inputs, and capacity, obscuring which choices matter. We view supervised policies as distilling a decoding procedure through a teacher and examine independently what the teacher labels as committable, on which states the policy imitates it, what the policy observes, and how much the number of function evaluations (NFE) must decrease to offset policy overhead. We find that labeling predictions matching the final output is overly permissive at low NFE, and hidden states are weak alone but can complement confidence. About a 10% NFE reduction suffices to offset policy overhead for policies up to 7.5M parameters across tested settings. We therefore train a policy on trajectory-contraction targets, which accept only commitments staying on a reference trajectory, using confidence and hidden states. On LLaDA-8B-Instruct, the resulting 856K-parameter policy achieves the best accuracy--NFE frontier and highest throughput on GSM8K, is competitive at moderate targets on MATH-500 and HumanEval, and largely transfers to Dream-7B-Instruct.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Offset (computer science), Complement (music), Matching (statistics), Language model, Decoding methods

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange