이미지 기하학적 변환 추정을 위한 스펙트럼 도메인의 transformer = Transformer in spectral domain for estimating image geometric transformation

국문 초록 (Abstract)

이미지 기하학적 변환의 블라인드 추정은 디지털 이미지 포렌식에서 중요한 문제이다. 본 논문에서는 이미지의 기하학적 변환 매개변수를 예측할 수 있는 end-to-end transformerbased estimator를 제안한다. 기존의 분류 기반 공식에서 벗어나 우리는 변환 행렬을 직접 추정함으로써 보다 일반화된 방법을 제공했다. 내재된 resampling artifact의 frequency peak 위치가 기하학적 변환에 명시적인 단서를 제공한다는 점에 주목한다. 이 기능을 활용하기 위 해 공간 주파수의 직접적인 분석을 위해 fast Fourier transform 및 multi-head self-attention 의 positional encoding을 사용한다. Regression layer를 transformer 이후에 결합함으로써 이미지의 기하학적 변환 매개변수를 효과적으로 분석한다. 공개된 데이터베이스를 사용한 광범위한 비교 실험을 통해 제안된 방법은 기존 방법보다 더 높은 예측 성능을 나타내며 JPEG 압축에 대한 견고성도 입증한다.

다국어 초록 (Multilingual Abstract)

The blind estimation of image geometric transformation is an essential problem in digital image forensics. In this paper, we propose an end-to-end transformer-based estimator that can predict the geometric transformation parameters of an image. Deviating from the existing classification-based formulation, we provided a more generalized method by directly estimating the transformation matrix. We note that the frequency peak position of the inherent resampling artifacts leaves explicit clues for the geometric transformation. To use this feature, a direct analysis of the spatial frequency is performed using the positional encoding of fast Fourier transform and multi-head self-attention. Combining the regression layers with the preceding transformer effectively analyzes the geometric transformation parameters of the image. Performing extensive comparison tests with a public database, the proposed method demonstrates a prediction performance higher than existing methods and also demonstrated robustness to JPEG compression.
Keywords: Image forensics, multimedia security, neural networks, resampling detection, vision transformer

목차 (Table of Contents)

• 1 서론 6
• 1.1 연구방법론 6
• 2 연구 배경 8
• 2.1 Interpolation의 주기성 분석 8
• 2.2 Related work 9
• 2.3 Vision task에서의 transformer 10
• 3 방법론 11
• 3.1 Preprocessing layer 11
• 3.2 Frequency positional encoding layer 12
• 3.3 Transformer encoder 13
• 3.4 Regression layer 14
• 4 실험 결과 16
• 4.1 Experimental setup 16
• 4.2 Evaluation metric 17
• 4.3 Results 18
• 4.4 Comparison experiments 22
• 4.5 Robustness to JPEG compression 23
• 4.6 Activation pattern analysis 24
• 5 결론 25
• 5.1 Discussion and Conclusion 25
• 참고 문헌 26
• 초록 30
• Abstract 31