Newest papers

Drift Says When, Budget Says How Much: Rate-Controlled KV Re-selection for Long-Form Multimodal Generation

Bin Hu, Yingbo Xiao · 2026 · arXiv

DOI: 10.48550/arXiv.2610.31433 · open-access PDF

Hindi

मल्टीमॉडल एलएलएम के लिए KV कैश संपीड़न आमतौर पर एक बार रखने के लिए दृश्य टोकन का चयन करता है, प्रीफिल पर, और पूरे पीढ़ी के लिए उस चयन को फिर से उपयोग करता है। हम दिखाते हैं कि यह एक-शॉट चयन लंबे आकार के उत्पादन पर गंभीर रूप से सीमित है: विस्तृत छवि वर्णन पर, यहां तक कि एक ओरेकल जो अवरुद्ध प्रतिक्रिया के ध्यान के साथ चयन करता है, केवल 0.44-0.52 ROUGE-L अनुरूपता तक पहुंचता है अवरुद्ध आउटपुट के साथ, क्योंकि मॉडल को पढ़ने का सबूत वर्णन विकसित होने के रूप में चलता है। ध्यान से बाहर निकलने पर फिर से चयन करना प्राकृतिक उपाय है, लेकिन हम पाते हैं कि एक निश्चित

Machine translation (Meta M2M100); the English original follows.

Abstract

KV cache compression for multimodal LLMs usually selects the visual tokens to keep once, at prefill, and reuses that selection for the whole generation. We show that this one-shot selection is severely limited on long-form generation: on detailed image description, even an oracle that selects with the attention of the uncompressed answer reaches only 0.44-0.52 ROUGE-L agreement with the uncompressed output, because the evidence the model reads moves as the description unfolds. Re-selecting whenever attention drifts out of the kept set is the natural remedy, but we find that a fixed drift thres

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange