Newest papers

Uni-Mem: Learning a Long-Horizon Agentic Memory Manager with Unified Online Policy Optimization

Zhiqian Xia, Jielong Tang, Ling-An Zeng, Shixiong Kai, Rong Yao, Hao Kong, Xiao Dong, Wei Wang, Mingxuan Yuan, Siyu Xia, Haifeng Xia · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29671 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Bộ nhớ đại lý dài hạn đang chuyển từ các quy trình làm việc được xác định trước sang các chính sách có thể học được cho việc xây dựng và thu hồi bộ nhớ. Các phương pháp dựa trên học tập hiện có hoặc tối ưu hóa xây dựng một mình hoặc kết hợp việc học tập tăng cường trực tuyến (RL) với giám sát xây dựng ngoại tuyến, hạn chế sự tương thích giữa hai giai đoạn. Trong bài báo này, chúng tôi khám phá RL trực tuyến từ đầu đến cuối cho quản lý bộ nhớ thống nhất (Uni-Mem) mà học cả hai khả năng theo chính sách được chia sẻ. Tuy nhiên, tối ưu hóa chung với các thuật toán RL hiện có như GRPO phải đối mặt với so sánh nhóm gây nhầm lẫn và phản hồi kém về các quỹ đạo quản lý bộ nhớ dài. Để đạt được mục đích này, chúng tôi đề xuất GRPO tách nối giai đoạn, thay đổi và tối ưu hóa

Machine translation (Meta M2M100); the English original follows.

Abstract

Long-term agent memory is shifting from predefined workflows toward learnable policies for memory construction and retrieval. Existing learning-based methods either optimize construction alone or combine retrieval-side online reinforcement learning (RL) with offline construction supervision, limiting co-adaptation between the two stages. In this paper, we explore end-to-end online RL for a unified memory manager (Uni-Mem) that learns both capabilities under a shared policy. However, joint optimization with existing RL algorithms such as GRPO faces confounded group comparisons and sparse feedback over long memory-management trajectories. To this end, we propose Stage-Decoupled GRPO, which alternates construction and retrieval optimization while controlling variation from the other stage within each rollout group, yielding stage-specific learning signals. We further introduce Event-Wise Credit Assignment (ECA), which localizes feedback to responsible events and propagates event-level advantages to their constituent operations. Experiments on LoCoMo and LongMemEval show that Uni-Mem outperforms the strongest RL-based memory, demonstrating the effectiveness of jointly learning memory construction and retrieval via Stage-Decoupled GRPO and ECA.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Reinforcement learning, Workflow, Artificial intelligence, Limiting, Scheme (mathematics)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange