Newest papers

Cache Engineering for Agents

Tianyu Fu, Ruoxi Wang, Zihan Min, Zhongqi Ren, Zhihao Li, Tengxuan Liu, Shengxu Mu, Hanling Zhang · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28577 · open-access PDF

French

Les agents du grand modèle de langue (LLM) peuvent gérer des tâches de plus en plus complexes, en naviguant sur de longues trajectoires d'observations et d'actions. À mesure que ces trajectoires grandissent, le cache de valeur clé (KV) et le stockage deviennent le coût dominant. Les trajectoires peuvent également dépasser la longueur de contexte maximale du LLM, nécessitant un contrôle sur la croissance du cache actif. Le travail antérieur utilise l'ingénierie du contexte pour réduire la taille du cache en tranchant ou en résumant l'historique. Cependant, la modification du préfixe de la trajectoire invalide les états cachés ultérieurs et déclenche un remplissage coûteux du contexte retenu

Machine translation (Meta M2M100); the English original follows.

Abstract

Large Language Model (LLM) agents can handle increasingly complex tasks, navigating long trajectories of observations and actions. As these trajectories grow, key-value (KV) cache I/O and storage become the dominant cost. Trajectories can also exceed the LLM's maximum context length, requiring control over active cache growth. Prior work uses context engineering to reduce cache size by trimming or summarizing history. However, modifying the trajectory prefix invalidates subsequent cached states and triggers costly re-prefilling of retained context. Task accuracy can also suffer when too little

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange