Newest papers

Drift Says When, Budget Says How Much: Rate-Controlled KV Re-selection for Long-Form Multimodal Generation

Bin Hu, Yingbo Xiao · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.31433 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Quá trình đánh giá tốc độ một lần này được giới hạn nghiêm trọng trong quá trình sản xuất hình dạng dài: ngay cả trên mô tả hình ảnh chi tiết, ngay cả một nhà tiên tri chọn với sự chú ý của phản ứng không nén sẽ chỉ đạt được sáu điểm trượt trên sáu điểm trượt trên ROUGE-L so sánh với tỷ lệ đầu ra không nén, vì bằng chứng cho thấy mô hình đang đọc di chuyển khi mô tả phát triển nhiều nhất. Chúng tôi đề xuất R-Controlled Refresh (QCR) mô tả khi chú ý trượt ra khỏi tập hợp được giữ là phương thuốc tự nhiên, nhưng chúng tôi thấy rằng một nhà tiên tri chọn với mức trượt không nén chỉ đạt được sáu điểm trượt trên sáu điểm trượt: Trên các chỉ số trượt không tương đương trên các mẫu không nén, do đó các mẫu trượt thấp hầu như không

Machine translation (Meta M2M100); the English original follows.

Abstract

KV cache compression for multimodal LLMs usually selects the visual tokens to keep once, at prefill, and reuses that selection for the whole generation. We show that this one-shot selection is severely limited on long-form generation: on detailed image description, even an oracle that selects with the attention of the uncompressed answer reaches only 0.44-0.52 ROUGE-L agreement with the uncompressed output, because the evidence the model reads moves as the description unfolds. Re-selecting whenever attention drifts out of the kept set is the natural remedy, but we find that a fixed drift threshold fails systematically: drift magnitudes are not comparable across samples, so low-drift samples are almost never refreshed although they benefit the most. We propose Rate-Controlled Refresh (RCR), which lets drift decide when and where to re-select while a per-sample controller regulates how often, combined with a low-rank drift detector, candidate-restricted re-selection, and a decision that stays on the GPU. With one setting for all models and tasks, RCR outperforms the per-step retrieval method InfiniGen by 1.6-3.8 ROUGE-L points on five of six model-task settings with no significant difference on the sixth, while staying within 1.7 points of exact per-step re-selection, with comparable estimated data movement per step and a 4x smaller GPU-resident detector. On DetailCaps, drift-chosen timing beats random timing at the same refresh rate and periodic timing even at a higher rate, by 2.0-5.0 points. On pre-registered video description, where drift is homogeneous across samples, RCR is on par with InfiniGen on Qwen2-VL and exceeds it on Qwen3-VL but no longer beats a fixed threshold at the nearest tested rates, consistent with the diagnosis; object-level evaluation shows that RCR achieves higher object F1 against the uncompressed output than InfiniGen on two of three models.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Uncompressed video, Computer science, Cache, Oracle, Selection (genetic algorithm), Set (abstract data type)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange