Newest papers

Drift Says When, Budget Says How Much: Rate-Controlled KV Re-selection for Long-Form Multimodal Generation

Bin Hu, Yingbo Xiao · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31433 · open-access PDF

Japanese

KVキャッシュ圧縮は、多様なLLMsのための通常は、プレフィルで1回保存するためのビジュアルトークンを選択し、全体の世代のためにその選択を再利用します。我々は、この1ショット選択は、長い形状の生成に厳しく制限されていることを示します:詳細な画像説明では、圧縮されていない答えの注意で選択するオラクルでさえ、圧縮されていない出力と合意する0.44-0.52 ROUGE-Lに達します、なぜならモデルが読む証拠は、説明が展開するにつれて動きます。

Machine translation (Meta M2M100); the English original follows.

Abstract

KV cache compression for multimodal LLMs usually selects the visual tokens to keep once, at prefill, and reuses that selection for the whole generation. We show that this one-shot selection is severely limited on long-form generation: on detailed image description, even an oracle that selects with the attention of the uncompressed answer reaches only 0.44-0.52 ROUGE-L agreement with the uncompressed output, because the evidence the model reads moves as the description unfolds. Re-selecting whenever attention drifts out of the kept set is the natural remedy, but we find that a fixed drift thres

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange