Newest papers

Continual Concept Personalization in Diffusion Models via Residual-Space Adaptation

Yuzhi Liu, Enis Simsar, Giulia Lanzillotta, Thomas Frank Hofmann · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28567 · cited by 0 works (OpenAlex) · open-access PDF

French

La personnalisation de texte à image vise à équiper les modèles de diffusion prétrainés avec la capacité d'apprendre des concepts spécifiques à l'utilisateur à partir de quelques images de référence. Les méthodes existantes, cependant, entraînent généralement chaque concept de manière indépendante ou supposent que tous les concepts sont disponibles simultanément. Dans les applications pratiques, les concepts arrivent souvent de manière séquentielle, exigeant que les modèles apprennent continuellement de nouveaux sujets, objets ou styles tout en minimisant l'interférence avec les concepts précédemment acquis. Nous abordons cette configuration de personnalisation de concept continue en étendant l'adaptation de l'espace résiduel à l'adaptation stochastique des modèles de diffusion prétrainés. Notre travail

Machine translation (Meta M2M100); the English original follows.

Abstract

Text-to-image personalization aims to equip pretrained diffusion models with the ability to learn user-specific concepts from only a few reference images. Existing methods, however, typically train each concept independently or assume that all concepts are available simultaneously. In practical applications, concepts often arrive sequentially, requiring models to continually learn new subjects, objects, or styles while minimizing interference with previously acquired concepts. We address this continual concept personalization setting by extending residual-space adaptation to the stochastic adaptation process of pretrained diffusion models. Our work achieves the highest concept fidelity among competing continual personalization methods while maintaining near-zero forgetting. Beyond these empirical gains, the learned residual-space dynamics reveal where adaptation capacity is concentrated within the diffusion model. Restricting adaptation to the identified layers by our method preserves nearly the same performance while reducing the number of trainable parameters by up to 72\%, demonstrating that residual-space dynamics can identify the layers that contribute most to continual concept personalization and directly guide more parameter-efficient adaptation.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Personalization, Adaptation (eye), Computer science, Process (computing), Fidelity, Artificial intelligence

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange