Jinghui Zhang, Lang Gao, Zongfang Liu, Ruihong Zeng, Zirui Song, Rui Yan, Kentaro Inui, Xiuying Chen · 2026 · arXiv
DOI: 10.48550/arXiv.2610.28393 · open-access PDF
La reproduction précise d'un espace cible verbatim dans un contexte long est un test de capacité fondamental pour les LLM: même lorsque la chaîne cible est présente dans le contexte, les modèles se déplace souvent dans l'intervalle ou ne s'arrêtent pas correctement, révélant des limites dans la mise à la terre de la source et le contrôle des limites. Cette capacité a une large pertinence pratique. Par exemple, la génération de code nécessite souvent d'incorporer des chaînes sensibles telles que les clés API exactement comme elles apparaissent dans le contexte.
Machine translation (Meta M2M100); the English original follows.
Precisely reproducing a target span verbatim within a long context is a fundamental capability test for LLMs: even when the target string is present in context, models often still drift within the span or fail to stop correctly, revealing limitations in source grounding and boundary control. This capability has broad practical relevance. For instance, code generation often requires embedding sensitive strings such as API keys exactly as they appear in context. In this work, we construct a benchmark to test exact span reproduction ability across contracts, scientific literature, code, and rando
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.28393, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange