Newest papers

Rethinking Sequence Compression with Test-time Regression

Sihan Yang, Jie Huang, Hanxuan Li, Yifan Guo, Weigao Sun, Yiran Zhong, Weiyang Liu · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.31574 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Sự nén chuỗi là một hoạt động cơ bản và một chạm trán thông tin quan trọng trong các mô hình ngôn ngữ hiệu quả và đa phương thức, và tuy nhiên các phương pháp tiếp cận phổ biến dựa trên tập hợp hoặc dự báo học tiếp tục kém hiệu quả. Chúng tôi xem lại sự nén chuỗi thông qua ống kính của hồi quy thời gian thử nghiệm: các mã thông báo đầu vào xác định một vấn đề hồi quy có các hệ số gắn kết tạo thành đại diện nén. Quan trọng là vấn đề hồi quy được học từ đầu đến cuối thông qua phân phối ngược, trong khi các hệ số của nó được tính toán hiệu quả ở dạng khép kín trong quá trình chuyển tiếp. Điều này dẫn đến TTR-Compressor, một giải pháp thay thế chung cho việc tập hợp thông thường và nén dựa trên dự báo. Chúng tôi đánh giá TTR-Compressor như là máy nén cho sự chú ý

Machine translation (Meta M2M100); the English original follows.

Abstract

Sequence compression is a fundamental operation and a critical information bottleneck in efficient language and multimodal models, and yet prevailing approaches based on pooling or learned projections remain underperforming. We revisit sequence compression through the lens of test-time regression: input tokens define a regression problem whose fitted coefficients form the compressed representation. Importantly, the regression problem is learned end-to-end via backpropagation, while its coefficients are computed efficiently in closed form during the forward pass. This leads to TTR-Compressor, a general alternative to conventional pooling and projection-based compression. We evaluate TTR-Compressor as the compressor for block-wise sparse attention and the visual token merger for multimodal large language models. On block-wise sparse attention, TTR-Compressor improves RULER performance over attention-based compressors by a large margin. For visual token merging, it consistently outperforms the standard MLP merger and matches its performance with 55.6% fewer visual tokens. These results establish test-time regression as an effective primitive for sequence compression in efficient language and multimodal models.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Pooling, Sequence (biology), Computer science, Compression (physics), Data compression, Regression

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange