Newest papers

Parallel Language Models via Variational Decoding

Felix Draxler, Robin C. Geyer, Daniel Geyfman, Farrin Marouf Sofian, Justus C. Will, Philipp Hildebrandt, Giosue Migliorini, Prakhar Srivastava, Gagan Sai Trinadh Duggaraju Peddiraju, Kushagra Pandey, Jorge da Silva Gonçalves, ELIJAH TAVARES, Jan Niklas Groeneveld, Yang Meng, Julia Elisabeth Vogt, Stephan Mandt · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26693 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Trong bài báo này, chúng tôi giới thiệu các mô hình ngôn ngữ song song (PLMs), tạo ra các token nhất quán trong một thông điệp phía trước bằng cách định tuyến các phụ thuộc qua các biến phụ trợ tiềm ẩn. Điều này gây ra độ trễ suy luận cao, đặc biệt là khi các mô hình được mở rộng lên chất lượng. Trong bài báo này, chúng tôi giới thiệu các mô hình ngôn ngữ song song (PLMs), tạo ra các token nhất quán lẫn nhau trong một thông điệp phía trước bằng cách định tuyến các phụ thuộc qua các biến phụ trợ tiềm ẩn. PLMs được đào tạo bằng cách sử dụng một giới hạn biến đổi giảm xuống còn giảm xuống còn giảm xuống còn giảm xuống còn giảm xuống còn giảm xuống còn giảm xuống còn giảm xuống còn giảm xuống. Theo thực tế, PLMs ở biên giới Pareto nhanh hơn và tốt hơn so với các đường cơ sở phân tán

Machine translation (Meta M2M100); the English original follows.

Abstract

Autoregressive language models emit one token per forward pass. This causes high inference latency, in particular as models are scaled up for quality. In this paper, we introduce Parallel Language Models (PLMs), which generate mutually consistent tokens in one forward pass by routing dependencies through latent auxiliary variables. PLMs are trained using a variational bound that reduces to an autoregressive loss plus a parallel decoding loss. Empirically, PLMs are on a faster and better Pareto frontier than autoregressive and discrete diffusion baselines. Pretrained PLMs achieve near-autoregressive pretraining loss on model scales of 80M to 3B parameters, and speedup follows a power law in model size. When post-trained, our 1.3B model matches or exceeds an identically trained autoregressive model on math, coding, and instruction-following benchmarks, speeding up inference $2.3\text{-}5.7\times$. Together, we show that parallel generation can be trained from a single training objective at autoregressive quality. We will make our code available at https://github.com/mandt-lab/plm.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Autoregressive model, Language model, Computer science, Inference, Decoding methods, Algorithm

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange