Newest papers

Adaptive Multi-Token Prediction: How far should we go?

Emile Anand, Mohammed Rehan Parwani, Xinyuan Cao · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28619 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

MTP có thể đẩy nhanh việc giải mã mô hình ngôn ngữ bằng cách soạn thảo một số mã thông báo và xác minh chúng trong một thông báo mô hình mục tiêu duy nhất. Tuy nhiên, sự thay đổi chân trời suy đoán tốt nhất với bối cảnh: các bản thảo dài hơn cung cấp giảm giá cao hơn khi đáng tin cậy, nhưng có thể lãng phí tính toán trên các bản thảo được loại bỏ sau khi bị từ chối. Không giống như bản thảo tự động, nơi một quy tắc dừng lại có thể quyết định mã thông báo bằng mã thông báo, MTP phải sửa đổi chân trời trước khi soạn thảo, vì tất cả các đầu bắn vào cùng một cặp chuyển tiếp. Do đó, chúng tôi xây dựng lựa chọn chân trời như một vấn đề kiểm soát trực tuyến, sử dụng phản hồi xác minh để tìm hiểu mức độ đáng tin cậy của bản thảo trên mỗi bối cảnh, và giới thiệu bản thảo

Machine translation (Meta M2M100); the English original follows.

Abstract

Multi-token prediction (MTP) can accelerate language-model decoding by drafting several tokens and verifying them in a single target-model pass. However, the best speculation horizon changes with context: longer drafts offer greater amortization when reliable, but can waste compute on suffixes discarded after a rejection. Unlike autoregressive drafting, where a stopping rule can decide token by token, MTP must fix the horizon before drafting, as all heads fire in the same forward pass. We therefore formulate horizon selection as an online control problem, using verification feedback to learn how far the draft can be trusted in each context, and introduce Adaptive Multi-Token Prediction (AMTP): a lightweight controller that requires no retraining and leaves the exact verifier unchanged. To guide horizon selection, we characterize the expected number of tokens committed at each horizon via acceptance survival, the probability that a draft prefix is fully accepted. Before each round, AMTP predicts how far the draft is likely to survive and picks the horizon with the highest expected tokens per second, learning freely from every verification pass. Theoretically, we show that any online learner's prediction error translates into throughput regret against the best horizon for each context, and in turn into a bound on wall-clock completion time. With online gradient descent, this regret is sublinear. Across five draft-target pairings built on Llama-3.1-8B-Instruct with Medusa heads, Meta's MTP models, and Qwen3-4B-Inst-2507-MTP, evaluated on AIME 2025 and GSM8K, AMTP decodes up to 4.1x faster than standard decoding and matches or outperforms the fixed window in 8 of 10 settings, with throughput gains of up to 10%.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Regret, Security token, Horizon, Prefix, Decoding methods

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange