Newest papers

BERT Is Already a Denoiser: Cheaply Unlocking Iterative Generation in Masked Language Models

Julio C. Amador Diaz Lopez · 2026 · arXiv

DOI: 10.48550/arXiv.2610.26601 · open-access PDF

Portuguese

Modelos de linguagem mascarada (MLMs) como o BERT são tipicamente usados para a aprendizagem de representação, apesar de seu pré-treinamento de desinformação. Nós testamos se essa capacidade suporta a geração condicional sem treinamento de difusão. Nosso decodificador repetidamente prevê tokens mascarados e compromete previsões de alta confiança usando um cronograma cosino. Não requer tempo de difusão ou objetivo de difusão reversa. O BERT congelado já exibe capacidade substancial de desinformação, reconstruindo 61.0%, 37.5%, e 24.4% dos tokens mascarados em 15%, 45%, e 60% de corrupção, respectivamente, embora a geração deteriore acentuadamente.

Machine translation (Meta M2M100); the English original follows.

Abstract

Masked language models (MLMs) such as BERT are typically used for representation learning despite their denoising pretraining. We test whether this capability supports conditional generation without diffusion training. Our decoder repeatedly predicts masked tokens and commits high-confidence predictions using a cosine schedule. It requires no diffusion timestep or reverse-diffusion objective. Frozen BERT already exhibits substantial denoising capability, reconstructing 61.0%, 37.5%, and 24.4% of masked tokens at 15%, 45%, and 60% corruption, respectively, although generation deteriorates sharp

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange