Newest papers

Predictive Latents for Autoregressive Language Models: Possibility, Gauge, and Obstruction

Yuzhou Hong · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28540 · open-access PDF

Hindi

ऑटोरेग्रेसिव भाषा मॉडल को अगले टोकन क्रॉस-एंट्रोपी द्वारा प्रशिक्षित किया जाता है, हालांकि कई हाल के सिस्टम भी टोकन जारी किए बिना एक छिपे हुए राज्य का पुनरावृत्ति करते हैं: निरंतर विचार, ब्रेक चरण, और पुनरावृत्ति गहराई। यह नोट एक छिपे हुए प्रक्रिया पर तीन जोखिमों को अलग करता है। टोकन जोखिम $R_{\mathrm{tok}}$ एक पढ़ाई का स्कोर करता है। शिक्षक द्वारा मजबूर किया गया छिपे हुए जोखिम $R_1$ एक एक-स्तरीय नक्शा का स्कोर करता है जो वास्तविक छिपे हुए राज्य को देखता है।

Machine translation (Meta M2M100); the English original follows.

Abstract

Autoregressive language models are trained by next-token cross-entropy, yet several recent systems also iterate a hidden state without emitting a token: continuous thoughts, pause steps, and recurrent depth. This note separates three risks on one latent process. The token risk $R_{\mathrm{tok}}$ scores a readout. The teacher-forced latent risk $R_1$ scores a one-step map that sees the true hidden state. The open-loop risk $R_H$ scores the same map after it has been iterated on its own outputs. If the Bayes next-token posterior is a function of a $k$-dimensional statistic with full-rank covaria

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange