Newest papers

Cache Engineering for Agents

Tianyu Fu, Ruoxi Wang, Zihan Min, Zhongqi Ren, Zhihao Li, Tengxuan Liu, Shengxu Mu, Hanling Zhang · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28577 · open-access PDF

Russian

Агенты Большой Модели Языка (LLM) могут справляться с все более сложными задачами, перемещаясь по длинным траекториям наблюдений и действий. По мере того как эти траектории растут, ключевое значение кэша (KV) и хранение становятся доминирующими затратами. Траектории также могут превышать максимальную длину контекста LLM, требуя контроля над активным ростом кэша. Предыдущая работа использует контекстную инженерию для уменьшения размера кэша путем обрезки или обобщения истории.

Machine translation (Meta M2M100); the English original follows.

Abstract

Large Language Model (LLM) agents can handle increasingly complex tasks, navigating long trajectories of observations and actions. As these trajectories grow, key-value (KV) cache I/O and storage become the dominant cost. Trajectories can also exceed the LLM's maximum context length, requiring control over active cache growth. Prior work uses context engineering to reduce cache size by trimming or summarizing history. However, modifying the trajectory prefix invalidates subsequent cached states and triggers costly re-prefilling of retained context. Task accuracy can also suffer when too little

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange