Ziqing Man, Di Wu, Jia-Chen Gu, Junyi Zhang, Kai-Wei Chang, Nanyun Peng · 2026 · arXiv
DOI: 10.48550/arXiv.2610.26827 · open-access PDF
A compressão de contexto melhora a eficiência de contexto longo, mas pode introduzir problemas de fidelidade através de uma lacuna de informação. As avaliações existentes dependem de métricas de QA, mas um leitor ainda pode responder corretamente de uma compressão infalível, então essas métricas subestimam essa perda. Para preencher essa lacuna, introduzimos o KEEP-Bench, um benchmark de diagnóstico que avalia diretamente a fidelidade de compressão com 4.102 casos em três configurações desafiadoras que exigem a manutenção de evidências para resoluções de referência plausíveis, qualificadores explícitos e perspectivas minoritárias.
Machine translation (Meta M2M100); the English original follows.
Context compression improves long-context efficiency but may introduce faithfulness issues through an information bottleneck. Existing evaluations rely on QA metrics, but a reader can still answer correctly from an unfaithful compression, so these metrics underestimate such loss. To bridge this gap, we introduce KEEP-Bench, a diagnostic benchmark that directly assesses compression faithfulness with 4,102 cases across three challenging settings that require keeping evidence for plausible reference resolutions, explicit qualifiers, and minority perspectives. Experiments show that even with tailo
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.26827, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange