Newest papers

Disclosure Begets Disclosure: A Self-Reinforcing Privacy Loop in LLM Agents with Persistent Memory

Masahiro Kaneko, Hiromi Arai, Timothy Baldwin · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28315 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Trong các mô hình đại lý lỗ hổng lớn, các đại lý đang ngày càng sử dụng bộ nhớ dai dẳng để cá nhân hóa các phản hồi, và các thuộc tính cá nhân trong bộ nhớ này gây ra rủi ro bảo mật nếu được phơi bày. Chúng tôi hỏi làm thế nào tư vấn bộ nhớ trong suốt cuộc đối thoại thay đổi những gì người dùng đang nói, và do đó những gì bộ nhớ đến để tiết lộ. Trong các mô phỏng đa phiên, một người dùng mô phỏng với 24 thuộc tính cá nhân nói chuyện với một đại lý hỗ trợ trong bộ nhớ có hoặc không tham khảo ý kiến, và trong cả hai thiết lập các thuộc tính được kết luận từ hồ sơ tích lũy đầy đủ. Trên bốn mô hình hỗ trợ, bộ nhớ làm tăng chất lượng phản hồi nhưng cũng là rò rỉ thực nghiệm, tỷ lệ các thuộc tính được rút ra chính xác từ hồ sơ, bằng một tỷ lệ

Machine translation (Meta M2M100); the English original follows.

Abstract

Large language model (LLM) agents increasingly use persistent memory to personalize responses, and personal attributes in this memory pose a privacy risk if exposed. We ask how consulting memory during dialogue changes what users go on to say, and thus what the memory comes to reveal. In multi-session simulations, a simulated user with 24 personal attributes talks with a support agent that does or does not consult memory, and in both settings attributes are inferred from the full accumulated record. Across four support models, memory raises response quality but also empirical leakage, the share of attribute values correctly inferred from the record, by a margin that widens over sessions. The cause is a loop in ordinary, non-adversarial assistance. Memory-conditioned responses carry earlier values forward, often as presuppositions, and users affirm them or leave them uncorrected, so that cues and the agent's own guesses become recorded values. The loop reinforces itself, and removing the agent's mentions of an attribute lowers its later disclosure about twice as much as single-turn effects predict. Users cannot leave it on their own, since correcting a value discloses the attribute, declining to discuss it shifts later predictions toward sensitive values, and incorrect values left in place become entrenched. The loop is best weakened at the agent's response. Instructing the agent not to state or presuppose attributes brings leakage to about the no-memory level while keeping most of the quality gains, whereas filtering or anonymizing what users say or what is stored gives up much of them.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Internet privacy, Quality (philosophy), Margin (machine learning), Computer security, Value (mathematics)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange