Newest papers

Stratified Sparse Attention: Reducing the Sparse-to-Dense Gap at Extreme Sparsity

Sahil Joshi, Prithvi Dixit, Aryan Katiyar, Agniva Chowdhury, Joseph E. Gonzalez, Anshumali Shrivastava, Aditya Desai, Kumar Krishna Agrawal · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28441 · open-access PDF

French

L'inference du grand modèle de langue sur de longs contextes est de plus en plus bloquée par le coût de la participation à un cache Key-Value (KV) en croissance. L'attention réduite réduit ce coût en accédant seulement à une fraction du cache, mais les méthodes existantes font face à un compromis entre la récupération déterministe, qui capture des jetons de haut score mais rejette la masse d'attention résiduelle, et l'échantillonnage, qui améliore la couverture au prix d'une variance plus élevée.

Machine translation (Meta M2M100); the English original follows.

Abstract

Large Language Model inference over long contexts is increasingly bottlenecked by the cost of attending to a growing Key-Value (KV) cache. Sparse attention reduces this cost by accessing only a fraction of the cache, but existing methods face a trade-off between deterministic retrieval, which captures high-scoring tokens but discards residual attention mass, and sampling, which improves coverage at the cost of higher variance. Hybrid methods combine top-$k$ retrieval with uniform sampling, yet still exhibit a substantial gap from dense attention at aggressive sparsity. We introduce \emph{Strat

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange