자동화된 딥페이크 데이터셋 품질 평가 기반 딥페이크 탐지 모델 정확도 편향 분석에 관한 연구 = Analysis of Deepfake Detection Models for Performance Bias Based on Automated Deepfake Dataset Quality Evaluation

다국어 초록 (Multilingual Abstract)

Deepfakes have become a social problem due to their various negative uses, including political manipulation, privacy violations, and economic scams. To
address these issues, it is essential to develop accurate deepfake detection models. However, if the dataset used to validate a deepfake detection model
contains low-quality data, the performance of the detection model may be overstated. In this study, we use FaceForensics++ and Celeb-DF datasets, which
are commonly used in deep fake research, to analyze the quality of various images using quality evaluation metrics and generation model evaluation
metrics. Based on this, we investigate the correlation between dataset quality and the performance of Face X-ray, UCF, F3Net, and Meso4Net deep fake detection models.
Our results show that the quality of the dataset measured by PSNR, MS-SSIM, BRISQUE, and Pose Error among various image quality evaluation techniques correlates with the performance of the detection model. Instead of the existing random data selection, the evaluation data selection that considers the quality
of the dataset shows up to 4.21% lower confidence in video frame selection and up to 26.73% lower confidence in frame-by-frame thrshold verification than
random selection, confirming that strict deep fake detection model verification is possible. These findings are expected to contribute to the correct validation and performance improvement of deep fake detection technology.

국문 초록 (Abstract)

딥페이크는 정치적 조작, 사생활 침해, 경제적 사기 등 다양한 부정적 사용으로 인해 사회적 문제를 야기하고 있다. 이러한 문제를 해결하기 위해 정확한 딥페이크 탐지 모델의 개발이 필수적이다. 하지만 딥페이크 탐지 모델을 검증하는데 사용되는 데이터셋에 저품질의 데이터가 포함되면 탐지 모델의 성능이 과장되는 문제가 발생할 수 있다. 본 연구에서는 딥페이크 연구에서 주로 사용되는 FaceForensics++와 Celeb-DF 데이터셋을 이용하여 다양한 이미지의/이미지에서의 품질 평가 지표와 생성 모델 평가 지표를 활용한 품질 분석을 수행한다. 이를 바탕으로, 데이터셋 품질과 Face X-ray, UCF, F3Net, Meso4Net 딥페이크 탐지 모델의 성능 간의 상관관계를 조사한다.
연구 결과, 다양한 이미지의 품질 평가 기법중 PSNR, MS-SSIM, BRISQUE, Pose Error로 측정한 데이터셋의 품질이 탐지 모델의 성능과 상관관계를 갖는 것을 확인하였다. 기존 랜덤한 데이터 선택 대신 데이터셋의 품질을 고려한 평가 데이터 선택 시 랜덤 선택 보다 동영상 프레임 선택에서 최대 4.21% 낮은 confidence를, 프레임단위 thrshold를 통한 검증에서는 최대 26.73% 낮은 confidence를 보여 엄격한 딥페이크 탐지 모델 검증이 가능함을 확인하였다. 이러한 발견은 딥페이크 탐지 기술의 올바른 검증과 성능 향상에 기여를 할 수 있을 것으로 기대된다.