Newest papers

TokenGate: Adapting LLMs for Fast and Memory-Efficient Prefill with Learned Token Pruning

Liana Patel, Rishabh Ranjan, Ion Gabriel Stoica, Matei Zaharia, Carlos Guestrin · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26754 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các độc giả người có chuyên môn xử lý đầu vào lớn (ví dụ, kho mã và tài liệu dài) bằng cách trượt để đọc chặt chẽ chỉ những gì quan trọng. Mặt khác, các mô hình ngôn ngữ xử lý tất cả các token đầu vào thông qua mỗi lớp mô hình, dẫn đến chi phí xử lý đáng kể cho đầu vào ngữ cảnh dài. Chúng tôi giới thiệu TokenGate, một thành phần nhỏ, drop-in mở rộng các mô hình được đào tạo hiện có để cho phép kết tách token có thể học được từ đầu đến cuối qua các đầu vào ngữ cảnh dài để tạo ra các tiền tố đầu vào nhanh chóng và hiệu quả trong bộ nhớ. Để cho phép học tập từ đầu đến cuối mặc dù không thể phân biệt được, chúng tôi giới thiệu TokenGate, một cơ chế được truyền cảm hứng từ Mixture-of-Experts để tăng cường sự chú ý bằng cách sử dụng các

Machine translation (Meta M2M100); the English original follows.

Abstract

Expert human readers process large inputs (e.g., code repositories and long documents) by skimming to closely read only what matters. On the other hand, language models process all input tokens through each model layer, resulting in significant processing costs for long-context inputs. We introduce TokenGate, a small, drop-in component that extends existing trained models to enable end-to-end learnable token pruning over long-context inputs for fast and memory-efficient prefill. To enable end-to-end learning despite the non-differentiable top-K operator for token pruning, we introduce token-gated attention, a mechanism inspired by Mixture-of-Experts that re-weights attention logits using token importance scores. Across diverse tasks, TokenGate achieves $1.4$-$11.3\times$ faster time-to-first token (TTFT) and $1.5$-$3.4\times$ lower peak memory at no accuracy degradation for prefill in transformers. Compared to the best-performing prior methods for token-pruning, TokenGate gives up to $6.4\times$ faster prefill and $2\times$ lower peak memory. TokenGate natively extends both standard transformers (e.g., Qwen3) and hybrid-attention models (e.g., Qwen3.5) with simple lightweight adaptation comparable to standard parameter-efficient fine-tuning. We make our code available at: https://github.com/tokengate-models/TokenGate.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Security token, Computer science, Pruning, Artificial intelligence, Process (computing), Language model

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange