Newest papers

TokenGate: Adapting LLMs for Fast and Memory-Efficient Prefill with Learned Token Pruning

Liana Patel, Rishabh Ranjan, Ion Stoica, Matei Zaharia, Carlos Guestrin · 2026 · arXiv

DOI: 10.48550/arXiv.2610.26754 · open-access PDF

Japanese

エキスパートの人間の読者は、大きな入力(例えば、コードリポジトリや長いドキュメント)をスキーミングして、重要なものだけを注意深く読むことにより処理します。他方で、言語モデルは、各モデル層を通してすべての入力トークンを処理し、長い文脈の入力のための大幅な処理コストを引き起こします。我々は、既存の訓練されたモデルを拡張して、長文脈の入力を通じて学習可能なトークンの端から端まで切断を可能にする小型のドロップインコンポーネントであるTokenGateを導入します。我々は、トークン切削のための非差別化可能なトップKオペレーターにもかかわらず、迅速かつメモリ効率

Machine translation (Meta M2M100); the English original follows.

Abstract

Expert human readers process large inputs (e.g., code repositories and long documents) by skimming to closely read only what matters. On the other hand, language models process all input tokens through each model layer, resulting in significant processing costs for long-context inputs. We introduce TokenGate, a small, drop-in component that extends existing trained models to enable end-to-end learnable token pruning over long-context inputs for fast and memory-efficient prefill. To enable end-to-end learning despite the non-differentiable top-K operator for token pruning, we introduce token-ga

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange