Newest papers

Continual Concept Personalization in Diffusion Models via Residual-Space Adaptation

Yuzhi Liu, Enis Simsar, Giulia Lanzillotta, Thomas Frank Hofmann · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28567 · cited by 0 works (OpenAlex) · open-access PDF

Korean

텍스트-to- 이미지 개인화는 사용자 특정 개념을 몇 개의 참조 이미지를 통해서만 배울 수있는 능력을 갖춘 사전 훈련 된 확산 모델을 장착하는 것을 목표로합니다. 그러나 기존의 방법은 일반적으로 각 개념을 독립적으로 훈련하거나 모든 개념이 동시에 사용할 수 있다고 가정합니다. 실용적인 응용 프로그램에서 개념은 종종 연속적으로 도착하여 모델이 지속적으로 새로운 주제, 개체 또는 스타일을 배우고 이전에 얻은 개념과의 간섭을 최소화합니다. 우리는이 지속적인 개념 개인화 설정을 확장하여 남은 공간 적응을 연속적으로 확장합니다. 사전 훈련 된 확산 모델의 프로세스 적응에 대한 스토카스틱 적응. 우리의 작업은 경쟁하는 지속적인 개인화 방법 중 가장 높은 개념 충

Machine translation (Meta M2M100); the English original follows.

Abstract

Text-to-image personalization aims to equip pretrained diffusion models with the ability to learn user-specific concepts from only a few reference images. Existing methods, however, typically train each concept independently or assume that all concepts are available simultaneously. In practical applications, concepts often arrive sequentially, requiring models to continually learn new subjects, objects, or styles while minimizing interference with previously acquired concepts. We address this continual concept personalization setting by extending residual-space adaptation to the stochastic adaptation process of pretrained diffusion models. Our work achieves the highest concept fidelity among competing continual personalization methods while maintaining near-zero forgetting. Beyond these empirical gains, the learned residual-space dynamics reveal where adaptation capacity is concentrated within the diffusion model. Restricting adaptation to the identified layers by our method preserves nearly the same performance while reducing the number of trainable parameters by up to 72\%, demonstrating that residual-space dynamics can identify the layers that contribute most to continual concept personalization and directly guide more parameter-efficient adaptation.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Personalization, Adaptation (eye), Computer science, Process (computing), Fidelity, Artificial intelligence

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange