Emile Anand, Mohammed Rehan Parwani, Xinyuan Cao · 2026 · arXiv
DOI: 10.48550/arXiv.2610.28619 · open-access PDF
Multi-Token-Vorhersage (MTP) kann die Entschlüsselung von Sprachmodellen beschleunigen, indem mehrere Token erstellt und in einem einzigen Zielmodellpass überprüft werden. Allerdings ändert sich der beste Spekulationshorizont mit dem Kontext: Längerere Entwürfe bieten eine größere Abschreibung, wenn sie zuverlässig sind, können aber die Berechnung auf nach einer Ablehnung verworfenen Suffixen verschwenden. Im Gegensatz zu autoregressivem Entwurf, bei dem eine Stoppregel Token nach Token entscheiden kann, muss MTP den Horizont vor dem Entwurf fixieren, da alle Köpfe in demselben Vorwärtspass schießen.
Machine translation (Meta M2M100); the English original follows.
Multi-token prediction (MTP) can accelerate language-model decoding by drafting several tokens and verifying them in a single target-model pass. However, the best speculation horizon changes with context: longer drafts offer greater amortization when reliable, but can waste compute on suffixes discarded after a rejection. Unlike autoregressive drafting, where a stopping rule can decide token by token, MTP must fix the horizon before drafting, as all heads fire in the same forward pass. We therefore formulate horizon selection as an online control problem, using verification feedback to learn h
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.28619, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange