Newest papers

TokenGate: Adapting LLMs for Fast and Memory-Efficient Prefill with Learned Token Pruning

Liana Patel, Rishabh Ranjan, Ion Stoica, Matei Zaharia, Carlos Guestrin · 2026 · arXiv

DOI: 10.48550/arXiv.2610.26754 · open-access PDF

Portuguese

Os leitores humanos especializados processam grandes entradas (por exemplo, repositórios de código e documentos longos) através do skimming para ler de perto apenas o que importa. Por outro lado, os modelos de linguagem processam todos os tokens de entrada através de cada camada de modelo, resultando em custos significativos de processamento para entradas de contexto longo. Introduzimos o TokenGate, um pequeno componente drop-in que estende os modelos treinados existentes para permitir o corte de tokens aprendíveis de ponta a ponta em entradas de contexto longo para um pré-enchimento rápido e eficiente em memória. Para permitir o aprendizado de ponta a ponta, apesar do operador de ponta-K não diferenciável para o corte de tokens, introduzimos o token-ga.

Machine translation (Meta M2M100); the English original follows.

Abstract

Expert human readers process large inputs (e.g., code repositories and long documents) by skimming to closely read only what matters. On the other hand, language models process all input tokens through each model layer, resulting in significant processing costs for long-context inputs. We introduce TokenGate, a small, drop-in component that extends existing trained models to enable end-to-end learnable token pruning over long-context inputs for fast and memory-efficient prefill. To enable end-to-end learning despite the non-differentiable top-K operator for token pruning, we introduce token-ga

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange