대조학습과 Diffusion Reconstruction Error를 활용한 확산 모델 기반 인페인팅 영역 탐지 기법 = Inpainting Manipulation Localization Utilizing Diffusion Reconstruction Error

국문 초록 (Abstract)

디퓨전 기반 생성 모델의 발전은 이미지 인페인팅 성능을 크게 향상시켰으며, 조작된 영역을 시각적으로 일관된 구조, 질감, 색상으로 채울 수 있게 하였다. 이에 따라 인페인팅 영역의 픽셀 단위 로컬라이제이션은 디지털 포렌식 분야에서 중요하지만 어려운 과제가 되었다. 기존의 인코더-디코더 네트워크는 주로 RGB 단서에 의존하기 때문에 미세한 복원 불일치와 경계 아티팩트를 포착하는 데 한계가 있다. 본 논문은 Diffusion Reconstruction Error（DIRE）를 보조 정보로 활용하고 대조 학습을 적용하여 인페인팅 로컬라이제이션 성능을 향상시키는 프레임워크를 제안한다. DIRE는 입력 이미지와 디퓨전으로 재구성된 이미지 간의 차이를 측정하며, RGB 공간에서는 관찰하기 어려운 포렌식 단서를 제공한다. 또한, 멀티스케일 패치 대조 학습은 조작 영역과 실제 영역을 분리하도록 유도하며, 소프트 라벨과 경계 가중치는 윤곽 주변의 모호성을 완화한다. 제안 프레임워크는 다양한 인코더-디코더 기반 로컬라이제이션 모델에 적용될 수 있다. 실험 결과, F1, IoU, AUC에서 성능 향상이 확인되었으며, 이는 DIRE와 선택적 융합이 디퓨전 인식 인페인팅 로컬라이제이션에 효과적임을 보여준다.

다국어 초록 (Multilingual Abstract)

Diffusion-based generative models have advanced image inpainting, enabling manipulated regions to be filled with visually consistent structures, textures, and colors. Thus, pixel-level localization of inpainted regions has become an important but challenging task in digital forensics. Existing encoder-decoder networks mainly rely on RGB cues and often fail to capture subtle reconstruction inconsistencies and boundary artifacts. This thesis proposes a framework for improving inpainting localization by using Diffusion Reconstruction Error （DIRE） as side information and contrastive learning. DIRE measures the discrepancy between an input image and its diffusion-reconstructed counterpart, providing forensic cues that are difficult
to observe in RGB space. Multi-scale patch contrastive learning separates manipulated and authentic regions, while soft labels and boundary weighting reduce ambiguity around ontours. The framework can be applied to various encoder-decoder localization models. Experiments show improvements in F1, IoU, and AUC, demonstrating that DIRE and selective fusion are effective for diffusion-aware inpainting localization.

목차 (Table of Contents)

• 제1장 서 론 1
• 제1절 연구의 목적 1
• 제2절 연구의 범위 및 방법 4
• 제 1항 연구의 범위 4
• 제 2항 연구의 방법 5
• 제2장 연구에 관한 이론적 배경 6
• 제1절 관련 연구 6
• 제 1항 기존 이미지 조작 탐지 및 영역 탐지 6
• 제 2항 확산 모델 기반 인페인팅 탐지 7
• 제 3항 대조학습 기반 조작 영역 localization 8
• 제2절 배경 지식 9
• 제 1항 이미지 인페인팅과 영역 탐지 9
• 제 2항 Encoder-decoder 기반 localization 구조 9
• 제 3항 DIRE 10
• 제 4항 대조 학습 10
• 제3장 방법론 11
• 제 1절 모델 개요 11
• 제 2절 마스크 비율 기반 멀티스케일 패치 대조 사전 학습 13
• 제 1항 멀티스케일 패치 대조 사전 학습 13
• 제 2항 멀티스케일 패치 구성 15
• 제 3항 마스크 비율 기반 경계 패치 표현 학습 17
• 제 4항 경계 패치 가중치 강화 18
• 제3절 DIRE 기반 보조 정보 활용 및 Localization 학습 21
• 제 1항 DIRE 기반 보조 정보 구성 21
• 제 2항 RGB-DIRE Cross-Attention 융합 23
• 제 3항 Localization 학습 24
• 제4장 실험 25
• 제1절 실험 설정 25
• 제 1항 데이터세트와 베이스라인 25
• 제 2항 평가지표와 실험 구성 26
• 제2절 주요 결과 28
• 제 1항 제안 방법의 전체 성능 평가 28
• 제 2항 기존 대조학습 방법과의 비교 31
• 제 3항 DIRE 기반 보조 정보 분석 32
• 제 4항 패치 단위 대조 학습 분석 34
• 제 5항 절제 연구 （Ablation Study） 36
• 제5장 결 론 37
• 참 고 문 헌 38
• ABSTRACT 41