Newest papers

Continual Concept Personalization in Diffusion Models via Residual-Space Adaptation

Yuzhi Liu, Enis Simsar, Giulia Lanzillotta, Thomas Frank Hofmann · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28567 · cited by 0 works (OpenAlex) · open-access PDF

Hindi

संदर्भ छवियों से केवल कुछ उपयोगकर्ता विशिष्ट अवधारणाओं को सीखने की क्षमता के साथ प्रीट्रेड डिफेंस मॉडल को लैस करने का उद्देश्य है। मौजूदा विधियां, हालांकि, आमतौर पर प्रत्येक अवधारणा को स्वतंत्र रूप से प्रशिक्षित करती हैं या मानती हैं कि सभी अवधारणाएं एक ही समय में उपलब्ध हैं। व्यावहारिक अनुप्रयोगों में, अवधारणाएं अक्सर अनुक्रमिक रूप से आती हैं, जिससे मॉडल को लगातार नए विषयों, वस्तुओं या शैलियों को सीखने की आवश्यकता होती है, जबकि पहले प्राप्त अवधारणाओं के साथ हस्तक्षेप को कम करने के लिए। हम इस निरंतर अवधारणा अनुकूलन सेटिंग को विस्तार करके संदर्भित करते हैं, जिसमें शेष-स्पेस अनुकूलन प्र

Machine translation (Meta M2M100); the English original follows.

Abstract

Text-to-image personalization aims to equip pretrained diffusion models with the ability to learn user-specific concepts from only a few reference images. Existing methods, however, typically train each concept independently or assume that all concepts are available simultaneously. In practical applications, concepts often arrive sequentially, requiring models to continually learn new subjects, objects, or styles while minimizing interference with previously acquired concepts. We address this continual concept personalization setting by extending residual-space adaptation to the stochastic adaptation process of pretrained diffusion models. Our work achieves the highest concept fidelity among competing continual personalization methods while maintaining near-zero forgetting. Beyond these empirical gains, the learned residual-space dynamics reveal where adaptation capacity is concentrated within the diffusion model. Restricting adaptation to the identified layers by our method preserves nearly the same performance while reducing the number of trainable parameters by up to 72\%, demonstrating that residual-space dynamics can identify the layers that contribute most to continual concept personalization and directly guide more parameter-efficient adaptation.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Personalization, Adaptation (eye), Computer science, Process (computing), Fidelity, Artificial intelligence

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange