Newest papers

Cache Engineering for Agents

Tianyu Fu, Ruoxi Wang, Zihan Min, Zhongqi Ren, Zhihao Li, Tengxuan Liu, Shengxu Mu, Hanling Zhang · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28577 · open-access PDF

Hindi

बड़े भाषा मॉडल (एलएलएम) एजेंट अधिक से अधिक जटिल कार्यों को संभाल सकते हैं, अवलोकनों और कार्यों के लंबे ट्रैक्चोरियल को नेविगेट कर सकते हैं. इन ट्रैक्चोरियल को बढ़ने के साथ, कुंजी-मूल्य (केवी) कैश इन / ओ और स्टोरेज प्रमुख लागत बन जाते हैं. ट्रैक्चोरियल भी एलएलएम की अधिकतम संदर्भ लंबाई से अधिक हो सकते हैं, सक्रिय कैश विकास पर नियंत्रण की आवश्यकता होती है. पूर्व कार्य को संदर्भ इंजीनियरिंग का उपयोग करके कैश आकार को कम करने या इतिहास को सारांशित करने के लिए किया जाता है. हालांकि, ट्रैक्चोरियल पूर्वावलोकन को संशोधित करना बाद में कैश राज्यों को अ

Machine translation (Meta M2M100); the English original follows.

Abstract

Large Language Model (LLM) agents can handle increasingly complex tasks, navigating long trajectories of observations and actions. As these trajectories grow, key-value (KV) cache I/O and storage become the dominant cost. Trajectories can also exceed the LLM's maximum context length, requiring control over active cache growth. Prior work uses context engineering to reduce cache size by trimming or summarizing history. However, modifying the trajectory prefix invalidates subsequent cached states and triggers costly re-prefilling of retained context. Task accuracy can also suffer when too little

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange