Newest papers

LatComm: Reusable Context Compression for Latent Communication between Large Language Models

Huawei Lin, Jinting Liu, Tan Yu, Weijie Zhao · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26840 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các hệ thống kết hợp nhiều mô hình ngôn ngữ lớn (LLM) thường sử dụng một ngữ cảnh cho nhiều câu hỏi. Khi ngữ cảnh được truyền giữa các mô hình dưới dạng văn bản, mô hình nhận xử lý tất cả các token của nó một lần nữa cho mỗi câu hỏi. Tránh chi phí này đòi hỏi một đại diện ngữ cảnh nhỏ gọn, có thể tái sử dụng trên các câu hỏi, và có thể đọc được bởi một LLM khác nhau. Các phương pháp nén và truyền thông tiềm ẩn hiện tại mỗi cung cấp chỉ một số thuộc tính này. Chúng tôi giới thiệu LatComm, một giao diện truyền thông tiềm ẩn cung cấp tất cả ba bằng cách tách mã hóa từ đọc: ngữ cảnh được mã hóa một lần mà không có câu hỏi, và người nhận chọn những gì để đọc cho mỗi câu hỏi. Một mã hóa ngữ cảnh đông lạnh LLM nén ngữ cảnh thành một gói kích thước cố

Machine translation (Meta M2M100); the English original follows.

Abstract

Systems that combine several large language models (LLMs) often use one context for many questions. When the context is passed between models as text, the receiving model processes all of its tokens again for every question. Avoiding this cost requires a context representation that is compact, reusable across questions, and readable by a different LLM. Existing compression and latent communication methods each provide only some of these properties. We introduce LatComm, a Latent Communication interface that provides all three by separating encoding from reading: the context is encoded once without the question, and the receiver selects what to read for each question. A frozen context encoder LLM compresses the context into a fixed-size packet and sends it to a different frozen receiver LLM, which reads the packet through cross-attention, with gates computed from its prompt. On 12 multiple-choice question-answering datasets, LatComm improves average accuracy over single-vector baselines by up to 10.2 points. On QuALITY, it reduces the receiver's input by 57x and answers the questions of an article 3x faster.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Context (archaeology), Encoding (memory), Context model, Network packet, Language model

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange