A spectrum translation method for image-generative AI based on characteristics of spectral profile = 이미지 생성형 AI를 위한 주파수 프로파일 특성 기반의 스펙트럼 전이 방법

다국어 초록 (Multilingual Abstract)

Currently, image generation and synthesis have remarkably progressed with various generative models in computer vision fields. Despite the photo-realistic result of recent generative models, intrinsic discrepancies are still observed in the frequency domain. The spectral discrepancy appeared not only in generative adversarial networks but also in diffusion models. Due to the property of the frequency space, spectral anomaly affects the quality of the image generation. Therefore, discrepancies in the frequency domain have been regarded as an intrinsic challenge for better generative models.

In this study, we propose a framework to effectively mitigate the frequency domain disparity of generated images to improve the generative performance of both generative adversarial networks and diffusion models. This is realized by spectrum translation for the refinement of image generation (STIG) with the tactic of contrastive learning. We adopt the theoretical logic of frequency components in various generative networks. The key idea, here, is to refine the spectrum of the generated image via the concept of image-to-image translation under an unpaired setting with contrastive learning in terms of digital signal processing.

We evaluate the proposed framework across eight fake image datasets from various generative adversarial networks and diffusion models. And then, various cutting-edge methods are applied for validation to demonstrate the effectiveness of STIG. Our framework outperforms other cutting-edge methods showing significant decreases in FID and log frequency distance in the frequency domain. We further emphasize that STIG improves the quality of generated images by reducing the spectral anomaly. Additionally, validation results present that frequency-based deepfake detectors are easily vulnerable in the case where spectrums of fake images are manipulated by STIG.

국문 초록 (Abstract)

최근, 이미지 생성 및 변조 기술은 다양한 생성형 모델과 함께 빠르게 발전했다. 생성된 이미지의 실제와 같은 결과에도 불구하고, 주파수 영역에서의 내재적인 불일치가 여전히 관측되었다. 이러한 주파수 불일치는 적대적 생성 모델과 디퓨젼 모델에서 나타난다. 스펙트럼 이상은 주파수 공간의 특성으로 인해, 생성된 이미지의 품질에 영향을 준다. 따라서, 주파수 불일치는 더 나은 생성형 모델을 위한 내재적인 문제로 여겨졌다.

이 연구는 적대적 생성 모델과 디퓨젼 모델의 성능 개선을 위해 주파수 영역의 불일치를 효과적으로 완화시키는 프레임워크인 STIG를 제안하였다. 해당 프레임워크는 대조 학습 기반의 스펙트럼 변환과 다양한 생성형 모델의 이론적인 주파수 성분 분석을 바탕으로 구현되었다. 구체적으로, 대조 학습을 통해 페어링되지 않은 데이터 조건에서 이미지-이미지 변환 기법을 사용하여 스펙트럼을 개선하는 방식을 적용하였다.

제안된 프레임워크의 유효성을 검증하기 위하여 8종의 생성 이미지 데이터셋과 다양한 최신 기법을 사용하였다. STIG는 주파수 영역에서 FID와 로그 주파수 거리를 감소시키며 다른 최신 기법보다 효과적인 성능을 보였고, 생성된 이미지를 개선하였다. 또한, 주파수 기반의 딥페이크 검출기가 STIG에 의해 쉽게 무력화 되는 것을 확인하였다.

목차 (Table of Contents)

• Abstract i
• Preface vi
• Acknowledgement vii
• Contents viii
• 1 . Introduction 1
• 1.1 Spectral Discrepancy 1
• 1.1.1 Analysis of Spectral Discrepancy 2
• 1.1.2 Frequency-based Deepfake Detector 4
• 1.2 Previous Works for Spectral Discrepancy 4
• 1.2.1 Spatial Domain Approach 4
• 1.2.2 Frequency Domain Approach 5
• 1.3 Objective of This Study 5
• 2. Spectrum Analysis of Generative Models 7
• 2.1 Frequency Analysis of GANs 7
• 2.2 Frequency Analysis of DMs 8
• 2.2.1 Review of Diffusion Model 9
• 2.2.2 Wiener Filter-Based Model 10
• 3. Spectrum Translation for Refinement of Image Generation 13
• 3.1 Generative Adversarial Learning 13
• 3.2 Patch-Wise Contrastive Learning 14
• 3.3 STIG Framework 15
• 3.4 Auxiliary Regularizations 15
• 4. Experiment 19
• 4.1 Experimental Setup 19
• 4.1.1 Training Details 19
• 4.1.2 Dataset Preparation and Evaluation Metrics 20
• 4.1.3 Comparison Methods 21
• 4.2 Results and Discussions 22
• 4.2.1 Frequency Domain Results 22
• 4.2.2 Improvement on Image Quality 23
• 5. Ablation Study 27
• 5.1 Ablation Study of loss functions 27
• 5.2 STIG on Frequency-Based Detector 28
• 6. Conclusion 31
• Bibliography 32
• A. Visual Examples 37
• A.1 Image and Spectrum 37
• A.2 Comparison of Averaged Spectrum 46