Newest papers

TokenGate: Adapting LLMs for Fast and Memory-Efficient Prefill with Learned Token Pruning

Liana Patel, Rishabh Ranjan, Ion Stoica, Matei Zaharia, Carlos Guestrin · 2026 · arXiv

DOI: 10.48550/arXiv.2610.26754 · open-access PDF

Spanish

Los lectores humanos expertos procesan grandes entradas (por ejemplo, repositorios de código y documentos largos) escaneando para leer de cerca sólo lo que importa. Por otro lado, los modelos de lenguaje procesan todos los tokens de entrada a través de cada capa de modelo, lo que resulta en costos significativos de procesamiento para entradas de contexto largo. Introducimos TokenGate, un pequeño componente drop-in que amplía los modelos capacitados existentes para permitir el recorte de tokens aprendibles de extremo a extremo a través de entradas de contexto largo para un prefijo rápido y eficiente en la memoria. Para permitir el aprendizaje de extremo a extremo a pesar del operador top-K no diferenciable para el recorte de tokens, introducimos token-ga.

Machine translation (Meta M2M100); the English original follows.

Abstract

Expert human readers process large inputs (e.g., code repositories and long documents) by skimming to closely read only what matters. On the other hand, language models process all input tokens through each model layer, resulting in significant processing costs for long-context inputs. We introduce TokenGate, a small, drop-in component that extends existing trained models to enable end-to-end learnable token pruning over long-context inputs for fast and memory-efficient prefill. To enable end-to-end learning despite the non-differentiable top-K operator for token pruning, we introduce token-ga

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange