Newest papers

Drift Says When, Budget Says How Much: Rate-Controlled KV Re-selection for Long-Form Multimodal Generation

Bin Hu, Yingbo Xiao · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31433 · open-access PDF

German

KV Cache-Komprimierung für multimodale LLMs wählt normalerweise die visuellen Token aus, um einmal zu behalten, bei der Vorwahl, und nutzt diese Auswahl für die ganze Generation. Wir zeigen, dass diese einmalige Auswahl bei der Generation von langen Formen stark begrenzt ist: Bei einer detaillierten Bildbeschreibung erreicht sogar ein Oracle, der mit der Aufmerksamkeit der nicht komprimierten Antwort auswählt, nur 0,44-0.52 ROUGE-L Vereinbarung mit der nicht komprimierten Ausgabe, weil sich der Beweis, den das Modell liest, während sich die Beschreibung entfaltet.

Machine translation (Meta M2M100); the English original follows.

Abstract

KV cache compression for multimodal LLMs usually selects the visual tokens to keep once, at prefill, and reuses that selection for the whole generation. We show that this one-shot selection is severely limited on long-form generation: on detailed image description, even an oracle that selects with the attention of the uncompressed answer reaches only 0.44-0.52 ROUGE-L agreement with the uncompressed output, because the evidence the model reads moves as the description unfolds. Re-selecting whenever attention drifts out of the kept set is the natural remedy, but we find that a fixed drift thres

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange