Universal concept erasure in diffusion models via reinforcement learning

다국어 초록 (Multilingual Abstract)

Text-to-image diffusion models demonstrate impressive generative capabilities but often retain inappropriate or sensitive visual concepts, thereby raising ethical and societal concerns. While existing concept erasure methods attempt to mitigate this issue, they frequently exhibit poor robustness to paraphrased prompts and result in degraded image quality.
To overcome these limitations, we propose a reinforcement learning-based framework for diverse concept erasure tasks. The proposed method suppresses undesired concepts at the semantic level by optimizing task specific reward functions while preserving image quality and maintaining text-image alignment. Extensive experiments show that our framework performs consistently across concept categories such as object, NSFW (nudity), artistic style, celebrity, and instance. Compared to prior approaches, our method more effectively balances concept suppression and image quality, while also exhibiting greater robustness to prompt variations. These results demonstrate the practicality, scalability, and general applicability of the proposed method, enabling safer and more reliable text-to-image generation.

국문 초록 (Abstract)

최근 텍스트-이미지 확산 모델은 우수한 생성 성능을 바탕으로 다양한 응용분야에 활용되고 있으나, 부적절하거나 민감한 시각적 개념을 내포하고 있어 윤리적·사회적 문제를 야기할 수 있다. 이를 해결하기 위해, 사전 학습된 모델에서 특정 개념만을 선택적으로 제거하려는 연구가 활발히 이루어지고 있으나, 기존 방법은 우회 표현에 대한 취약성, 의미 정합성 저하, 이미지 품질 손상 등 여러 한계를 지닌다. 본 연구는 강화학습 기반 보상 최적화 기법을 도입하여, 텍스트조건을 유지하면서 삭제 대상 개념을 의미적으로 정밀 억제하는 방식을 제안한다.
이는 단순한 키워드 차단이 아닌, 개념의 의미 표현 자체를 통제하는 접근으로 기존 방식과 차별화된다. 실험 결과, 제안 기법은 개념 제거 성능과 이미지 품질간의 균형을 효과적으로 달성하였으며, 텍스트-이미지 생성 모델의 안정성과 실용성을 동시에 확보할 수 있는 가능성을 제시한다.

목차 (Table of Contents)

• 1. Introduction 1
• 2. Background 4
• 2.1. Overview of Diffusion Models Background 4
• 2.2. Reinforcement Learning in Generative Models 5
• 2.3. Existing Approaches for Concept Erasure 6
• 3. Related Works 8
• 3.1. Erasing Concepts from Diffusion Models (ECD) [1] 8
• 3.2. Unified Concept Editing in Diffusion Model (UCE) [2] 10
• 3.3. Reliable Concept Erasing of Text-to-Image Diffusion Models via Lightweight Erasers (Receler) [3] 14
• 3.4. Forget-Me-Not: Learning to Forget in Text-toImage Diffusion Models [4] 16
• 4. Methods 19
• 4.1. Reinforcement Learning Framework for Concept Erasure 19
• 4.2. Reward Function Design for Concept Erasure 22
• 4.3. Experimental Setup for Concept Erasure 24
• 5. Experiments 26
• 5.1. Object Concept Erasure 26
• 5.2. NSFW (Nudity) Concept Erasure 29
• 5.3. Artistic Style Concept Erasure 32
• 5.4. Celebrity Concept Erasure 35
• 5.5. Instance Concept Erasure 37
• 6. Conclusion 41
• References 43
• Korean Abstract 45