Newest papers

KEEP-Bench: Evaluating Evidence Preservation in Context Compression

Ziqing Man, Di Wu, Jia-Chen Gu, Junyi Zhang, Kai‐Wei Chang, Nanyun Peng · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26827 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các đánh giá hiện có dựa trên các số liệu QA, nhưng người đọc vẫn có thể trả lời chính xác từ một nén không trung thực, vì vậy các số liệu này đánh giá thấp sự mất mát như vậy. Để thu hẹp khoảng cách này, chúng tôi giới thiệu KEEP-Bench, một tiêu chuẩn chẩn đoán đánh giá trực tiếp độ trung thực nén với 4,102 trường hợp trên ba thiết lập đầy thử thách đòi hỏi phải giữ bằng chứng cho các giải pháp tham chiếu hợp lý, tiêu chuẩn rõ ràng và quan điểm thiểu số. Các thí nghiệm cho thấy rằng ngay cả với lời nhắc tùy chỉnh, các mô hình mạnh nhất vẫn không đáng tin cậy: mặc dù các cửa sổ chẩn đoán vượt quá 100K token và inputs mô hình trung bình chỉ 3.1K token, mô hình mở lớn (31B) tìm thấy tất cả các bằng chứng cần thiết trong 66.8% trường hợp, và

Machine translation (Meta M2M100); the English original follows.

Abstract

Context compression improves long-context efficiency but may introduce faithfulness issues through an information bottleneck. Existing evaluations rely on QA metrics, but a reader can still answer correctly from an unfaithful compression, so these metrics underestimate such loss. To bridge this gap, we introduce KEEP-Bench, a diagnostic benchmark that directly assesses compression faithfulness with 4,102 cases across three challenging settings that require keeping evidence for plausible reference resolutions, explicit qualifiers, and minority perspectives. Experiments show that even with tailored prompting, the strongest models remain unreliable: despite context windows exceeding 100K tokens and inputs averaging only 3.1K tokens, the best open-weight model (31B) preserves all required evidence in only 66.8% of cases, and the best proprietary model in only 61.6%. Performance also varies sharply across evidence structures, so conclusions from limited structures may be biased. We further introduce a metric, Evidence Preservation Return (EPR), to relate evidence recall to inference FLOPs, and find that it peaks at moderate scales (4B-8B), where recall remains low. Additional output budget mainly benefits already strong models and widens capability gaps, yet the stronger preservation of these models comes at a steep computational cost. These findings highlight the importance for future work to investigate compressors with strong information preservation under a small computation budget, rather than relying on a large output budget or model scaling.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Context (archaeology), Inference, Benchmark (surveying), Compression (physics), Data compression

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange