Newest papers

Remembering Through Change: Provenance-Preserving Hypergraph Memory for Multimodal Agents

Jielong Tang, Ling-An Zeng, Xujie Yuan, Xiao Dong, Zhiqian Xia, Qingfeng Li, Shixiong Kai, Kaichao Liang, Rong Yao, Jian Yin · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29995 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Bộ nhớ dài hạn cho các tác nhân đa dạng vẫn là một thách thức, vì nó phải bảo tồn bằng chứng thị giác tinh tế trong khi theo dõi sự tiến hóa của thực thể qua các phiên. Các bộ nhớ xác minh dựa trên trừu tượng hiện có nén hình ảnh thành văn bản, thường loại bỏ các chi tiết phân biệt đối xử trực quan, trong khi các bộ nhớ bảo tồn pixel giữ lại các quan sát thô nhưng đấu tranh để liên kết đáng tin cậy các quan sát đa dạng với các danh tính thực thể dai dẳng và theo dõi các trạng thái phát triển của chúng. Để giải quyết những hạn chế này, chúng tôi đề xuất MHG-Mem, một bộ nhớ siêu đồ họa đa phương tiện, sau đó tổng hợp các trạng thái tiến hóa cụ thể của thực thể, tiến hóa trạng thái và nguồn gốc đến bằng chứng thị giác. Cụ thể, MHG-Mem đại diện cho các quan sát

Machine translation (Meta M2M100); the English original follows.

Abstract

Long-term memory for multimodal agents remains challenging, as it must preserve fine-grained visual evidence while tracking entity evolution across sessions. Existing abstraction-based memories compress images into text, often discarding visually discriminative details, whereas pixel-preserving memories retain raw observations but struggle to reliably associate diverse observations with persistent entity identities and track their evolving states. To address these limitations, we propose MHG-Mem, a multimodal hypergraph memory that jointly organizes entity identity, state evolution, and provenance to visual evidence. Specifically, MHG-Mem represents distinct entity mentions and their observed facts as individual nodes, grouping identity-consistent mentions and facts through occurrence hyperedges. It then synthesizes aspect-specific evolution states from these grouped observations and links them to supporting entities, facts, and source evidence through evolutionary and evidential hyperedges. To navigate this structured memory, we introduce hypergraph-based agentic search, which adaptively selects an entry layer, traverses typed hyperedges across memory levels, and inspects source observations when fine-grained verification is required. These designs support both detailed visual verification and reasoning over cross-session state changes. Extensive experiments across three benchmarks demonstrate the effectiveness of MHG-Mem, improving performance by 8.20-9.98% over the strongest baseline.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Discriminative model, Hypergraph, Artificial intelligence, State (computer science), Natural language processing

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange