Bin Hu, Yingbo Xiao · 2026 · arXiv
DOI: 10.48550/arXiv.2610.31433 · open-access PDF
Kompresi cache KV untuk LLM multimodal biasanya memilih token visual untuk disimpan sekali, pada prefill, dan menggunakannya kembali untuk pemilihan itu untuk seluruh generasi. Kami menunjukkan bahwa pemilihan satu tembakan ini sangat terbatas pada generasi bentuk panjang: pada deskripsi gambar terperinci, bahkan oracle yang memilih dengan perhatian jawaban yang tidak dikompresi mencapai hanya 0,44-0.52 ROUGE-L kesepakatan dengan output yang tidak dikompresi, karena bukti yang dibaca model bergerak saat deskripsi berkembang.
Machine translation (Meta M2M100); the English original follows.
KV cache compression for multimodal LLMs usually selects the visual tokens to keep once, at prefill, and reuses that selection for the whole generation. We show that this one-shot selection is severely limited on long-form generation: on detailed image description, even an oracle that selects with the attention of the uncompressed answer reaches only 0.44-0.52 ROUGE-L agreement with the uncompressed output, because the evidence the model reads moves as the description unfolds. Re-selecting whenever attention drifts out of the kept set is the natural remedy, but we find that a fixed drift thres
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.31433, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange