Guiding diffusion models away from prompt via adversarial cross-attention disruption

다국어 초록 (Multilingual Abstract)

The success of diffusion-based inpainting models has enabled high-quality, prompt-guided image manipulation, but has also introduced significant risks of malicious misuse. Existing adversarial defenses, which primarily focus on inducing image-level inconsistencies, suffer from a critical and fundamental vulnerability. They are easily bypassed when a user amplifies the prompt's influence by increasing the Classifier-Free Guidance (CFG) scale. In this paper, we address this core limitation by proposing a novel, prompt-generalized defense mechanism that targets the text-image alignment process directly. Instead of targeting image features, we disrupt the cross-attention mechanism. Our key idea is to identify and target the Beginning-of-Sequence (BOS) token, which is universally present in all prompts yet carries no semantic information. We introduce a novel objective function that optimizes imperceptible perturbation. This perturbation forces the model to ignore all meaningful semantic tokens in a malicious prompt and divert its attention exclusively to the uninformative BOS token, effectively neutralizing the prompt's guidance. Extensive experiments on the EditBench dataset demonstrate that our method achieves state-of-the-art performance in suppressing malicious generation. Most importantly, it is the only method that remains robust against high CFG scales, resolving the critical failure point of prior work. Attention map visualizations empirically confirm that our mechanism successfully diverts attention as intended. Finally, our approach is also 2-7 times faster and more efficient about memory than existing methods, making it a robust and practical solution for protecting images against unauthorized manipulation.

국문 초록 (Abstract)

디퓨전 모델 기반 인페인팅 모델의 성공은 고품질의 프롬프트 기반 이미지 조작을 가능하게 하였으나, 동시에 악의적인 오용에 대한 심각한 위험을 초래한다. 이미지 수준의 불일치성을 유도하는 데 초점을 맞춘 기존의 적대적 방어 기법들은 치명적인 근본적 취약점을 가지고 있다. 사용자가 CFG 크기 파라미터를 높여 프롬프트의 영향력을 증폭시키면, 이전 방어 기법들은 쉽게 무력화된다. 본 논문에서는 텍스트-이미지 정렬 프로세스 자체를 직접적으로 표적하는 새로운 프롬프트 일반화 방어 메커니즘을 제안하여 이 한계를 해결한다. 이미지 특징을 표적하는 대신, 크로스-어텐션 메커니즘을 교란하고자 한다. 연구의 핵심 아이디어는 모든 프롬프트에 보편적으로 존재하지만 어떠한 의미론적 정보도 담고 있지 않은 ‘Beginning-of-Sequence’ (BOS) 토큰을 식별하여 표적하는 것이다. 우리는 육안으로 감지 불가능할 정도의 미세한 노이즈를 생성하고 최적화하는 새로운 목적 함수를 도입한다. 이 노이즈는 모델이 프롬프트 내의 모든 의미있는 토큰들을 무시하고, 오직 정보가 없는 BOS 토큰에만 주의를 집중하도록 강제하여 프롬프트의 영향력을 효과적으로 무시한다. EditBench 데이터셋을 사용한 광범위한 실험은 본 방법론이 악의적인 생성을 억제하는데 있어 최첨단의 성능을 달성함을 입증한다. 가장 중요한 것은, 본 방법론은 기존 연구들이 공유하는 취약점인 높은 CFG 크기 파라미터에서도 견고함을 유지하는 유일한 방법이다. 주의 맵 시각화는 본 방법론이 의도한 대로 주의를 성공적으로 교란시킴을 실증적으로 확인시켜준다. 마지막으로, 본 방법론은 기존 방법들보다 2배에서 7배 더 빠르고 메모리 효율적이므로, 이미지의 무단 조작을 방지하는 견고하고 실용적인 해결 방법이 될 수 있다.

목차 (Table of Contents)

• 1. Introduction 1
• 2. Related Work 6
• 2.1. Stable Diffusion Models 6
• 2.2. Inapinting-Based Generation Suppression 7
• 2.3. Editing-Based Generation Suppression 8
• 3. Preliminaries 9
• 3.1. Stable Diffusion Inpainting 9
• 3.2. Classifier-Free Guidance 10
• 3.3. Adversarial Attack on Inpainting Model 11
• 4. Method 13
• 4.1. Problem Statement 13
• 4.2. Identifying Target Token 14
• 4.3. Adversarial Cross-Attention Disruption 17
• 4.4. Quality Tag Prompt 19
• 4.5. Final Objective Function 20
• 5. Experiments 22
• 5.1. Experimental Details 22
• 5.2. Main Results 25
• 5.3. Analysis of CFG Scale 29
• 5.4. Visualize Token-wise Attention Map 32
• 5.5. Analysis of Unseen Masks 34
• 5.6. Analysis of Model Transferability 37
• 5.7. Ablation Studies 39
• 5.8. Analysis on Efficiency 42
• 6. Limitations and Future Work 43
• 7. Conclusion 46
• References 47
• Appendix 56
• <Appendix 1> Comparison on Noise Visibility 56
• <Appendix 2> Analysis on Noise Budget 57
• <Appendix 3> Robustness to Attack 60
• <Appendix 4> Analysis on CFG Scale 63
• Korean Abstract 66