Ziqing Man, Di Wu, Jia-Chen Gu, Junyi Zhang, Kai-Wei Chang, Nanyun Peng · 2026 · arXiv
DOI: 10.48550/arXiv.2610.26827 · open-access PDF
La compression de contexte améliore l'efficacité du contexte à long terme, mais peut introduire des problèmes de fidélité à travers une barrière d'information. Les évaluations existantes s'appuient sur les métriques QA, mais un lecteur peut toujours répondre correctement à partir d'une compression non fidèle, de sorte que ces métriques sous-estiment une telle perte. Pour combler ce fossé, nous introduisons KEEP-Bench, un critère de diagnostic qui évalue directement la fidélité de la compression avec 4.102 cas dans trois paramètres difficiles qui nécessitent la conservation de preuves pour des résolutions de référence plausibles, des qualificateurs explicites et des perspectives minoritaires.
Machine translation (Meta M2M100); the English original follows.
Context compression improves long-context efficiency but may introduce faithfulness issues through an information bottleneck. Existing evaluations rely on QA metrics, but a reader can still answer correctly from an unfaithful compression, so these metrics underestimate such loss. To bridge this gap, we introduce KEEP-Bench, a diagnostic benchmark that directly assesses compression faithfulness with 4,102 cases across three challenging settings that require keeping evidence for plausible reference resolutions, explicit qualifiers, and minority perspectives. Experiments show that even with tailo
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.26827, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange