Newest papers

Stratified Sparse Attention: Reducing the Sparse-to-Dense Gap at Extreme Sparsity

Sahil Joshi, Prithvi Dixit, Aryan Katiyar, Agniva Chowdhury, Joseph E. Gonzalez, Anshumali Shrivastava, Aditya Desai, Kumar Krishna Agrawal · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28441 · open-access PDF

Hindi

लंबे संदर्भों पर बड़े भाषा मॉडल निष्कर्षण को बढ़ती कुंजी-मूल्य (केवी) कैश में भाग लेने की लागत द्वारा तेजी से अवरुद्ध किया जाता है। Sparse ध्यान केवल कैश के एक टुकड़े का उपयोग करके इस लागत को कम करता है, लेकिन मौजूदा विधियों को निर्णायक खोज के बीच एक समझौता का सामना करना पड़ता है, जो उच्च स्कोर वाले टोकन पकड़ता है, लेकिन शेष ध्यान द्रव्यमान को फेंक देता है, और नमूना, जो उच्च भिन्नता की लागत पर कवरेज में सुधार करता है।

Machine translation (Meta M2M100); the English original follows.

Abstract

Large Language Model inference over long contexts is increasingly bottlenecked by the cost of attending to a growing Key-Value (KV) cache. Sparse attention reduces this cost by accessing only a fraction of the cache, but existing methods face a trade-off between deterministic retrieval, which captures high-scoring tokens but discards residual attention mass, and sampling, which improves coverage at the cost of higher variance. Hybrid methods combine top-$k$ retrieval with uniform sampling, yet still exhibit a substantial gap from dense attention at aggressive sparsity. We introduce \emph{Strat

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange