Newest papers

Stratified Sparse Attention: Reducing the Sparse-to-Dense Gap at Extreme Sparsity

Sahil Joshi, Prithvi Dixit, Aryan Katiyar, Agniva Chowdhury, Joseph E. Gonzalez, Anshumali Shrivastava, Aditya Desai, Kumar Krishna Agrawal · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28441 · open-access PDF

Vietnamese

Sự suy luận về mô hình ngôn ngữ lớn trong bối cảnh dài ngày càng bị đóng chai bởi chi phí tham gia vào một bộ nhớ cache Giá trị-Chìa khóa (KV) đang phát triển. Sparse attention làm giảm chi phí này bằng cách truy cập chỉ một phần của bộ nhớ cache, nhưng các phương pháp hiện có phải đối mặt với một sự thỏa hiệp giữa thu thập xác định, mà nắm bắt các token có điểm số cao nhưng loại bỏ khối lượng chú ý còn lại, và lấy mẫu, mà cải thiện bảo hiểm với chi phí của sự khác biệt cao hơn. phương pháp Hybrid kết hợp thu thập $k$ hàng đầu với lấy mẫu đồng nhất, nhưng vẫn thể hiện một khoảng cách đáng kể từ sự chú ý dày đặc ở mức kém tích cực.

Machine translation (Meta M2M100); the English original follows.

Abstract

Large Language Model inference over long contexts is increasingly bottlenecked by the cost of attending to a growing Key-Value (KV) cache. Sparse attention reduces this cost by accessing only a fraction of the cache, but existing methods face a trade-off between deterministic retrieval, which captures high-scoring tokens but discards residual attention mass, and sampling, which improves coverage at the cost of higher variance. Hybrid methods combine top-$k$ retrieval with uniform sampling, yet still exhibit a substantial gap from dense attention at aggressive sparsity. We introduce \emph{Strat

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange