Tianyu Fu, Ruoxi Wang, Zihan Min, Zhongqi Ren, Zhihao Li, Tengxuan Liu, Shengxu Mu, Hanling Zhang · 2026 · arXiv
DOI: 10.48550/arXiv.2610.28577 · open-access PDF
Các đại lý Mô hình Ngôn ngữ Lớn (LLM) có thể xử lý các nhiệm vụ ngày càng phức tạp, điều hướng các quỹ đạo dài của các quan sát và hành động. Khi các quỹ đạo này phát triển, key-value (KV) cache I/O và lưu trữ trở thành chi phí thống trị. quỹ đạo cũng có thể vượt quá chiều dài bối cảnh tối đa của LLM, đòi hỏi kiểm soát sự tăng trưởng cache tích cực. Công việc trước đó sử dụng kỹ thuật ngữ cảnh để giảm kích thước bộ nhớ cache bằng cách cắt hoặc tóm tắt lịch sử. Tuy nhiên, sửa đổi tiền tố quỹ đạo vô hiệu hóa các trạng thái cache tiếp theo và kích hoạt chi phí tái điền của bối cảnh được giữ lại. Độ chính xác nhiệm vụ cũng có thể bị ảnh hưởng khi quá ít
Machine translation (Meta M2M100); the English original follows.
Large Language Model (LLM) agents can handle increasingly complex tasks, navigating long trajectories of observations and actions. As these trajectories grow, key-value (KV) cache I/O and storage become the dominant cost. Trajectories can also exceed the LLM's maximum context length, requiring control over active cache growth. Prior work uses context engineering to reduce cache size by trimming or summarizing history. However, modifying the trajectory prefix invalidates subsequent cached states and triggers costly re-prefilling of retained context. Task accuracy can also suffer when too little
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.28577, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange