Bin Hu, Yingbo Xiao · 2026 · arXiv
DOI: 10.48550/arXiv.2610.31433 · open-access PDF
La compression de la cache KV pour les LLM multimodales sélectionne généralement les jetons visuels à conserver une fois, au préemballage, et réutilise cette sélection pour toute la génération. Nous montrons que cette sélection d'un coup est sévèrement limitée sur la génération de longue forme: sur la description détaillée de l'image, même un oracle qui sélectionne avec l'attention de la réponse non compressée n'atteint que 0,44-0,52 ROUGE-L accord avec la sortie non compressée, parce que la preuve que le modèle lit se déplace à mesure que la description se déroule.
Machine translation (Meta M2M100); the English original follows.
KV cache compression for multimodal LLMs usually selects the visual tokens to keep once, at prefill, and reuses that selection for the whole generation. We show that this one-shot selection is severely limited on long-form generation: on detailed image description, even an oracle that selects with the attention of the uncompressed answer reaches only 0.44-0.52 ROUGE-L agreement with the uncompressed output, because the evidence the model reads moves as the description unfolds. Re-selecting whenever attention drifts out of the kept set is the natural remedy, but we find that a fixed drift thres
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.31433, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange