Edge 기반 Loss 적용을 통한 비디오 프레임 보간 기법

국문 초록 (Abstract)

딥러닝의 발전에 따라 딥러닝 기반 비디오 프레임 보간 기법(Video Frame Interpolation)의 성능이 크게 발전하였다. 이것은 네트워크 구조의 진화와 다양한 손실함수의 개선에 의해 이루어졌다. 본 논문에서는 비디오 프레임 보간 기법을 위한 손실함수를 개선하기 위한 방법에 대해 다룬다. 대표적인 손실함수로는 이미지의 픽셀 사이의 차이를 줄이며 PSNR 을 높이는 이미지 영역의 손실함수와 이미지의 특징영역 사이의 차이를 줄이며 이미지의 디테일을 보존해 주관적 화질을 개선시키는 특징영역의 손실함수가 있다. 하지만 이미지 영역의 손실함수는 객관적 지표는 개선되지만 텍스쳐 영역에서 영상이 블러되는 문제가 있다. 또한 특징 영역의 손실함수의 경우 주관적 화질은 개선되는 반면 객관적 지표는 떨어지는 문제가 존재한다. 이러한 문제를 해결하기 위해 본 논문에서는 기존 손실 함수인 이미지 영역손실 함수와 특징 영영 손실 함수의 장단점을 분석하고 두 가지 손실 함수의 단점을 최소화하고 장점을 활용할 수 있는 방안을 제시한다. 제안한 방식은 기존 네트워크인 RIFE 기반으로 실험을 진행하였다. 제안한 방식은 객관적 화질 지표인 PSNR 을 유지하면서 주관적 화질이 향상되는 결과를 보인다.

목차 (Table of Contents)

• 요약문
• 1. 서론
• 2. 관련 연구
• 3. 제안한 방법
• 4. 학습방법
• 5. 실험 결과
• 6. 결론
• 참고문헌