Newest papers

Memory-Aware Reward Modeling: Learning Human Preferences for LLM Memory Use

Yijiang River Dong, Zexue He, Cheng Yu, Tiancheng Hu, Michael J. Ryan, Jan Batzner, Zheng Hui, Shaolong Wu, Orestis Papakyriakopoulos, Alex Pentland, Nigel Collier, Jiaxin Pei · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.31272 · cited by 0 works (OpenAlex) · open-access PDF

French

La mémoire permet aux assistants du modèle de langue de maintenir la continuité à travers les sessions et de générer des réponses personnalisées, mais en connaissant davantage un utilisateur ne produit pas nécessairement des réponses qu'ils préfèrent. Les évaluations existantes évaluent les capacités de mémoire sans déterminer directement si l'utilisation de la mémoire est bénéfique pour l'utilisateur. Pour étudier ce fossé, nous recueillons environ 1 000 jugements en paire de 87 participants en utilisant leurs propres requêtes de ChatGPT et leurs mémoires personnelles. Nous constatons que les réponses conditionnées par la mémoire ne sont pas toujours préférées aux réponses générées sans mémoire et que, dans certains cas, les utilisateurs préfèrent fortement ces derniers. Les évalu

Machine translation (Meta M2M100); the English original follows.

Abstract

Memory enables language model assistants to maintain continuity across sessions and generate personalized responses, but knowing more about a user does not necessarily produce responses they prefer. Existing evaluations assess memory capabilities without directly establishing whether memory use benefits the user. To study this gap, we collect approximately 1,000 pairwise judgments from 87 participants using their own ChatGPT queries and personal memories. We find that memory-conditioned responses are not consistently preferred over responses generated without memory and in some cases, users strongly prefer the latter. Automatic evaluators also show limited agreement with users and favor memory-conditioned responses substantially more often than users do. Motivated by these gaps, we introduce a memory-aware reward model that learns from user judgments, achieving 72.8\% preference prediction accuracy and outperforming the existing baselines. Our findings motivate evaluation and optimization objectives that align memory use with the preferences of the people whose information is being used.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Preference, Pairwise comparison, Cognitive psychology, Human memory, Preference learning

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange