Newest papers

Stratified Sparse Attention: Reducing the Sparse-to-Dense Gap at Extreme Sparsity

Sahil Joshi, Prithvi Dixit, Aryan Katiyar, Agniva Chowdhury, Joseph E. Gonzalez, Anshumali Shrivastava, Aditya Desai, Kumar Krishna Agrawal · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28441 · open-access PDF

Spanish

La inferencia del modelo de lenguaje grande en contextos largos está cada vez más bloqueada por el coste de asistir a un caché de valor clave (KV) en crecimiento. Sparse atención reduce este coste al acceder sólo a una fracción del caché, pero los métodos existentes se enfrentan a un compromiso entre la recuperación determinista, que captura tokens de alta puntuación pero descarta la masa de atención residual, y la muestra, que mejora la cobertura a costa de una varianza más alta. Los métodos híbridos combinan la recuperación de $k$ con la toma de muestras uniforme, pero todavía muestran una diferencia sustancial de la atención densa a la escasez agresiva. Introducimos \emph{Strat

Machine translation (Meta M2M100); the English original follows.

Abstract

Large Language Model inference over long contexts is increasingly bottlenecked by the cost of attending to a growing Key-Value (KV) cache. Sparse attention reduces this cost by accessing only a fraction of the cache, but existing methods face a trade-off between deterministic retrieval, which captures high-scoring tokens but discards residual attention mass, and sampling, which improves coverage at the cost of higher variance. Hybrid methods combine top-$k$ retrieval with uniform sampling, yet still exhibit a substantial gap from dense attention at aggressive sparsity. We introduce \emph{Strat

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange