시각적 품질 보존 및 이미지 변환 강건성을 고려한 생성 모델 기반 딥페이크 방어 기법 = Anti-Customization Method against Generative Models Considering Visual Fidelity and Robustness to Image Transformations

국문 초록 (Abstract)

잠재 확산 모델(LDM)의 놀라운 발전으로 간단한 텍스트 프롬프트에서 사진처럼 사실적인 이미지를 생성할 수 있게 되었다. 그러나 악의적인 행위자에 의한 LDM의 오용으로 인해 특히 얼굴 위조 및 개인정보 침해와 관련된 윤리적 문제가 제기되었다. 최근 연구에서는 이러한 문제를 사전에 해결하기 위한 맞춤형 방어(Anti Customization) 기법이 제안되어 왔다. 하지만 기존의 방법들은 방어 성능에만 초점을 맞추다 보니 눈에 띄는 교란을 유발하여 실제 응용 분야에서는 실용적이지 않다는 한계가 있다. 더욱이 이러한 방법은 JPEG 압축 및 가우시안 블러와 같은 일반적인 이미지 변환에 대해서는 효과를 유지하기 어렵다. 본 연구에서는 다양한 이미지 변환에 강건하면서도 감지하기 어려운 교란을 생성하는 새로운 맞춤형 방지 알고리즘인 AEGIS를 제안한다. 먼저, 얼굴 분석 및 슈퍼픽셀 기반 랜덤 교란 스케일링을 사용하여 교란 강도 맵을 생성하며, 이는 노이즈 최적화 과정에서 교란 업데이트의 크기를 공간적으로 제어한다. 이를 통해 방어 효과와 시각적 비인지성 간의 최적의 균형을 고려하면서 지각적으로 둔감한 영역에 적대적인 교란을 배치할 수 있다. 또한, 다양한 이미지 변환에 대한 강건성을 향상시키기 위해 변환 대비 기대값(EOT)을 통합한다. CelebA-HQ와 VGGFace2에 대한 광범위한 실험을 통해 본 방법이 기존 방식과 유사한 방어 성능을 유지하면서 교란의 가시성을 크게 감소시킨다는 것을 입증하였다.

다국어 초록 (Multilingual Abstract)

Remarkable advancements in latent diffusion models (LDMs) have raised ethical concerns, particularly regarding facial forgery and privacy violations. Recent studies have proposed anti-customization methods to deal with these problems proactively.
Unfortunately, their focus on protective performance often results in noticeable perturbations, making them impractical in the real-world. Moreover, these methods struggle to remain effective against common image transformations such as JPEG compression. In this paper, we propose a novel anti-customization algorithm, dubbed AEGIS, that conceals highly imperceptible perturbations while remaining robust against image transformations. We first generate perturbation intensity maps utilizing face-parsing and superpixel-based stochastic perturbation scaling, which spatially control the magnitude of the perturbation updates during the noise optimization process. This allows us to arrange adversarial perturbations in perceptually insensitive regions while considering the optimal trade-off between imperceptibility and defense effectiveness. Furthermore, we integrate the Expectation Over Transformation (EOT) to improve robustness against various image transformations. Extensive experiments on CelebA-HQ and VGGFace2 demonstrate that our method significantly reduces the visibility of perturbations while maintaining defense performance comparable to that of existing approaches.

목차 (Table of Contents)

• 1. 서론 1
• 2. 관련 연구 4
• 2.1. 텍스트-이미지 확산 모델 4
• 2.2. 적대적 공격 5
• 2.3. 사용자 맞춤화 및 맞춤화 방어 기법 7
• 3. 제안 방법 9
• 3.1. 문제 정의 및 최적화 목표 9
• 3.2. 텍스처 복잡도를 고려한 섭동 강도 맵 11
• 3.3. 변환 대비 기댓값을 이용한 이미지 변환에 강건한 섭동 최적화 12
• 4. 실험 방법 및 결과 14
• 4.1. 실험 설정 14
• 4.2. 구현 세부사항 14
• 4.3. 정량적 평가 15
• 4.4. 정성적 평가 19
• 4.5. 추가 실험 21
• 4.5.1. 구성 요소별 성능 분석 21
• 4.5.2. 이미지 변환에 대한 강건성 분석 23
• 4.5.3. 하이퍼파라미터에 따른 영향 분석 26
• 4.5.4. 전이성 분석 27
• 4.5.5. 계산 비용 분석 30
• 5. 결론 및 토의 31
• 참고문헌 32
• Abstract 36