ControlSwap : controllable personalized subject swapping

다국어 초록 (Multilingual Abstract)

Personalized subject swapping aims to replace a source concept in a source image with a user-specified target concept while preserving the rest of the scene. Despite recent advances, two key controllability issues persist: (1) object-agnostic foreground processing impedes identity transfer under pose and context changes; and (2) background regions that should remain unchanged are unintentionally altered. This lack of controllability profoundly curtails expressivity and narrows real-world editing applicability. We introduce ControlSwap, an SDXL-based framework that redesigns the refiner into an identity-preserving Identifiner. In contrast to prior approaches that apply a uniform, object-agnostic loss across the entire image, ControlLoss decomposes optimization into object-specific and nonobject-specific objectives, enabling fine-grained, region-aware control. Experiments demonstrate improved controllability and background preservation across diverse personalization scenarios.

국문 초록 (Abstract)

Personalized subject swapping는 원본 이미지 내의 source concept을 사용자가 지정한 target concept으로 교체하면서, 나머지 장면은 그대로 보존하는 것을 목표로 한다. 최근 여러 발전에도 불구하고, 두 가지 주요한 controllability 문제가 여전히 존재한다: (1) object-agnostic한 전경 처리로 인해 자세나 맥락이 변화시 identity 전이가 제대로 이루어지지 않으며, (2) 변경되지 않아야 할 배경 영역이 의도치 않게 수정되는 문제가 발생한다. 이러한 controllability의 부족은 표현력을 제한하고, 실제 편집 응용 가능성을 저해한다. 본 연구에서는 이러한 문제를 해결하기 위해 ControlSwap을 제안한다. ControlSwap은 SDXL 기반 프레임워크를 제안하며, refiner를 정체성을 보존을 위한 Identifiner로 재설계했다. 기존 접근법이 최적화에 object-agnostic한 loss function을 사용한 것과 달리, ControlLoss는 object-specific 및 nonobject-specific loss function으로 분리해 보다 정밀하고 영역 인식적인 제어를 가능하게 한다. 실험 결과, ControlSwap은 다양한 personalization 시나리오에서 controllability 향상과 배경 보존 측면 모두에서 우수한 성능을 보였다.

목차 (Table of Contents)

• Chapter 1. INTRODUCTION 1
• 1.1. Personalized Subject Swapping 1
• 1.2. Controllability 4
• 1.3. Contributions. 5
• Chapter 2. ControlSwap 6
• 2.1. Related work 6
• 2.1.1. Diffusion-Based Image Editing 6
• 2.1.2. Personalized Subject Swapping 6
• 2.2. Preliminary 7
• 2.2.1. Diffusion Models and SDXL 7
• 2.2.2. SDXL conditioning 8
• 2.2.3. Score-Based Editing Objectives 8
• 2.2.4. Latent Optimization 10
• 2.3. Overall Pipeline 12
• 2.4. SDXL Backbone and Identifiner 12
• 2.5. Identifiner 13
• 2.6. ControlLoss Scheduling 14
• 2.6.1. Phase 1: Object and Nonobject Separation 14
• 2.6.2. Phase 2: Subject Integration. 16
• Chapter 3. Experiments 16
• 3.1. Qualitative results 18
• 3.2. Quantitative results 20
• 3.3. Ablation Study 22
• 3.3.1 Step-Split Optimization 22
• 3.3.2. Loss ablation 23
• 3.3.3. Refiner-to-Identifiner effect 25
• 3.4. User study 26
• Chapter 4. Discussions 27
• Chapter 5. Conclusion 27
• Chapter 6. Author Responsibility Statement 28
• 6.1. Ethics statement 28
• 6.2. Reproducibility statement 28
• References 29
• Appendix 36
• 논문요약 46