보조 손실 유도 기반 딥페이크 탐지

국문 초록 (Abstract)

딥페이크 기술은 2014년 적대적 생성 신경망[1]의 등장 이후 StyleGAN 시리즈[2-4]를 거쳐 최근의 확산 모델[5,6]에 이르기까지 비약적으로 발전하였으며, 이로 인해 개인 명예 훼손, 허위 정보 유포, 금융 사기 등 심각한 사회적 문제가 발생하고 있다. 기존 딥페이크 탐지 방법들은 일반화 성능 부족, 데이터셋 클래스 불균형, 높은 계산 복잡도라는 세 가지 핵심 난제에 직면해 있다. 본 연구는 이러한 문제를 통합적으로 해결하기 위해 보조 손실 유도 특징 학습 프레임워크를 제안한다.제안하는 방법은 UCF 방법론[19]의 특징 분해 개념을 계승하되, "통합 중 분리" 전략과 "복잡한 학습, 단순한 추론" 설계 철학을 구현한다. Swin Transformer[11] 백본을 중심으로 두 개의 예측 헤드를 가진 메인 경로와, 위조·콘텐츠·공통 특징을 각각 추출하는 세 개의 경량 보조 인코더 및 UNet[21] 기반 재구성 모듈을 가진 보조 경로로 구성된다. 핵심적으로 보조 특징들은 직접적인 예측에 사용되지 않고, 대조 학습 원리를 적용한 다중 보조 손실 함수를 통해 메인 네트워크의 특징 학습을 간접적으로 유도한다. 학습 완료 후 추론 단계에서는 보조 모듈을 완전히 제거하여 효율성을 극대화한다.클래스 불균형 문제를 해결하기 위해 실시간 성능 모니터링 기반의 적응적 동적 가중치 조정 메커니즘을 도입하였다. 학습 과정 중 Real과 Fake 클래스의 재현율을 슬라이딩 윈도우로 추적하여, 재현율 격차가 임계값을 초과할 경우 자동으로 손실 함수의 클래스 가중치를 조정한다.DFDC 데이터셋[12]의 5% 서브셋을 사용한 실험에서 검증 정확도 99.7%, AUC 0.9999를 달성하였다. 특히 5:1의 극심한 클래스 불균형 상황에서도 Real 클래스 99.1%, Fake 클래스 100.0%의 재현율을 기록하여 적응적 동적 가중치 조정의 효과를 입증하였다. 테스트 세트에서는 880개 샘플 중 Real 350개 중 348개, Fake 530개 중 529개를 정확히 분류하여 99.66%의 정확도를 보였다. 본 연구는 특징 분해 기반 딥페이크 탐지 분야에서 성능과 효율성을 동시에 개선하는 새로운 접근법을 제시하며, 향후 전체 DFDC 데이터셋 평가와 교차 데이터셋 검증을 통해 일반화 성능을 더욱 엄밀히 검증할 계획이다.

목차 (Table of Contents)

• I. 서론 ᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁1
• 1.1 연구 배경 및 필요성᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁1
• 1.2 연구 목적 및 내용᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁3
• 1.3 논문의 구성᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁3
• Ⅱ. 관련연구 ᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁4
• 2.1 딥페이크 생성 기술의 발전᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁4
• 2.2 딥페이크 탐지 기술의 발전᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁5
• 2.3 DFDC 데이터셋과 교차 평가᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁7
• 2.4 UCF 방법론 및 한계᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁9
• Ⅲ. 제안하는 딥페이크 탐지 시스템᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁11
• 3.1 시스템 개요 및 설계 철학᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁11
• 3.2 Swin Transformer 백본᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁14
• 3.3 보조 인코더의 설계와 특징 분리 메커니즘᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁15
• 1) 동일 구조에서 출발하는 세 인코더᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁15
• 2) 대조 학습을 통한 Forgery와 Content의 분리᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁15
• 3) 특징 분리의 매커니즘과 필터의 진화 ᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁17
• 4) Common Encoder와 재구성의 역할᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁18
• 3.4 메인 네트워크의 학습: 세 관점의 통합 ᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁19
• 1) 다중 손실을 통한 다면적 학습᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁19
• 2) 학습 과정에서의 특징 진화᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁20
• 3) 왜 보조 모듈을 제거해도 되는가᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁21
• 3.5 적응적 동적 가중치 조정᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁21
• 3.6 UCF 대비 개선점᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁22
• Ⅳ. 실험 및 결과᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁23
• 4.1 실험환경 및 구현 세부사항᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁23
• 4.2 데이터셋 및 전처리᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁23
• 4.3 학습 설정 및 하이퍼파라미터᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁23
• 4.4 실험 결과᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁24
• 4.5 실패 사례 분석 및 한계점᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁28
• Ⅴ. 결론 및 향후 연구᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁29
• 5.1 연구 요약᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁29
• 5.2 연구의 기여 및 의의᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁30
• 5.3 연구의 한계점᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁31
• 5.4 향후 연구 방향᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁32
• 5.5 결론᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁33
• 참고문헌᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁34
• 영문 초록᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁37
• 국문 초록 ᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁᠁38