Semantic Anchoring for Robust Personalization in Text-to-Image Diffusion Models = 텍스트-이미지 확산 모델에서 강인한 개인화를 위한 의미 기반 앵커링

다국어 초록 (Multilingual Abstract)

Text-to-image diffusion models have achieved remarkable progress in generating diverse and realistic images from textual descriptions. However, they still struggle with personalization, which requires adapting a pretrained model to depict user-specific subjects from only a few reference images. The key challenge lies in learning a new visual concept from a limited number of reference images while preserving the pretrained semantic prior that maintains text-image alignment. When the model focuses on subject fidelity, it tends to overfit the limited reference images and fails to leverage the pretrained distribution. Conversely, emphasizing prior preservation maintains semantic consistency but prevents the model from learning new personalized attributes. Building on these observations, we propose the personalization process through a semantic anchoring that guides adaptation by grounding new concepts in their corresponding distributions. We therefore reformulate personalization as the process of learning a rare concept guided by its frequent counterpart through semantic anchoring. This anchoring encourages the model to adapt new concepts in a stable and controlled manner, expanding the pretrained distribution toward personalized regions while preserving its semantic structure. As a result, the proposed method achieves stable adaptation and consistent improvements in both subject fidelity and text-image alignment compared to baseline methods. Extensive experiments and ablation studies further demonstrate the robustness and effectiveness of the proposed anchoring strategy.

국문 초록 (Abstract)

텍스트-이미지 확산 모델은 텍스트 설명으로부터 다양하고 현실적인 이미지를 생성하는 데 있어 눈에 띄는 발전을 이루어 왔습니다. 그러나 소수의 참조 이미지만으로 사용자 고유의 대상을 표현하도록 사전 학습된 모델을 적응시키는 개인화 문제에는 여전히 한계가 존재합니다. 개인화의 핵심 과제는 텍스트-이미지 정합성을 유지하는 사전 학습 의미적 프라이어를 보존하면서, 제한된 참조 이미지로부터 새로운 시각적 개념을 효율적으로 학습하는 데 있습니다. 모델이 대상 충실도에 과도하게 집중하면 제한된 참조 이미지에 과적합되어 사전 학습된 분포를 충분히 활용하지 못하고, 반대로 프라이어 보존을 지나치게 강조하면 의미적 일관성은 유지되지만 새로운 개인화 속성을 충분히 습득하지 못합니다. 이러한 관찰에 기반하여, 우리는 새로운 개념을 해당 분포에 정착시키는 의미 기반 앵커링을 통해 적응을 안내하는 개인화 과정을 제안합니다. 즉, 개인화를 희귀 개념이 그에 대응하는 빈번한 개념에 의미적으로 앵커링되어 학습되는 과정으로 재정의합니다. 제안하는 앵커링은 모델이 사전 학습된 분포의 의미 구조를 유지하면서도 개인화 영역으로 안정적이고 통제된 방식으로 분포를 확장하도록 유도합니다. 그 결과, 제안된 방법은 기존 기법 대비 대상 충실도와 텍스트-이미지 정합성 모두에서 일관된 향상과 안정적인 적응을 달성하였습니다. 또한 광범위한 실험과 구성요소 제거 연구를 통해 제안된 앵커링 전략의 견고성과 효과가 검증되었습니다.

목차 (Table of Contents)

• 1. Introduction 1
• 2. Related Works 5
• 2.1. Personalized Text-to-Image Generation 5
• 2.2. Semantic Guidance in Personalization 6
• 3. Method 8
• 3.1. Preliminary 8
• 3.2. Motivation 9
• 3.3. Semantic Anchoring Personalization 10
• 4. Experiments 15
• 4.1. Experimental Setup 15
• 4.2. Comparison with Baseline Methods 16
• 4.3. Comparison across Backbone Models 19
• 5. Ablation Studies 21
• 5.1. Anchoring Effect on Personalization 21
• 5.2. Anchoring Strategy 23
• 5.3. Semantic Space Dynamics 24
• 6. Conclusion 26
• 6.1. Conclusion 26
• 6.2. Discussion and Future Work 27