http://chineseinput.net/에서 pinyin(병음)방식으로 중국어를 변환할 수 있습니다.
변환된 중국어를 복사하여 사용하시면 됩니다.
Edge 기반 Loss 적용을 통한 비디오 프레임 보간 기법
윤기환(Kihwan Yoon),정진우(Jinwoo Jeong),김성제(Sungjei Kim),허진강(Jingang Huh) 한국HCI학회 2023 한국HCI학회 학술대회 Vol.2023 No.2
딥러닝의 발전에 따라 딥러닝 기반 비디오 프레임 보간 기법(Video Frame Interpolation)의 성능이 크게 발전하였다. 이것은 네트워크 구조의 진화와 다양한 손실함수의 개선에 의해 이루어졌다. 본 논문에서는 비디오 프레임 보간 기법을 위한 손실함수를 개선하기 위한 방법에 대해 다룬다. 대표적인 손실함수로는 이미지의 픽셀 사이의 차이를 줄이며 PSNR 을 높이는 이미지 영역의 손실함수와 이미지의 특징영역 사이의 차이를 줄이며 이미지의 디테일을 보존해 주관적 화질을 개선시키는 특징영역의 손실함수가 있다. 하지만 이미지 영역의 손실함수는 객관적 지표는 개선되지만 텍스쳐 영역에서 영상이 블러되는 문제가 있다. 또한 특징 영역의 손실함수의 경우 주관적 화질은 개선되는 반면 객관적 지표는 떨어지는 문제가 존재한다. 이러한 문제를 해결하기 위해 본 논문에서는 기존 손실 함수인 이미지 영역손실 함수와 특징 영영 손실 함수의 장단점을 분석하고 두 가지 손실 함수의 단점을 최소화하고 장점을 활용할 수 있는 방안을 제시한다. 제안한 방식은 기존 네트워크인 RIFE 기반으로 실험을 진행하였다. 제안한 방식은 객관적 화질 지표인 PSNR 을 유지하면서 주관적 화질이 향상되는 결과를 보인다.
지식 증류 기법 기반 경량 비디오 프레임 보간 네트워크
윤기환(Kihwan Yoon),문현철(Hyeon Cheol Moon),김용한(Yong Han Kim),김성제(Sungjei Kim),정진우(Jinwoo Jeong) 한국방송·미디어공학회 2023 한국방송공학회 학술발표대회 논문집 Vol.2023 No.6
최근 딥러닝의 발전에 따라 비디오 보간 기법(Video Frame Interpolation, VFI)의 성능이 크게 개선되었다. 하지만 비선형적인 움직임, 큰 움직임, 물체의 가려진 영역(occlusion) 등을 포함한 복잡한 영상 보간을 위해 네트워크의 크기 및 계산 복잡도가 증가하였고 이에 따라 보간 속도가 저하되는 문제점이 존재한다. 이러한 문제를 해결하기 위해 본 논문에서는 큰 네트워크인 교사 모델의 지식을 작은 네트워크인 학생 모델에 전이하는 지식 증류기법(Knowledge Distillation)을 적용하여 네트워크의 크기를 줄이며 성능을 개선시킨 경량 네트워크를 제안한다. 실험 결과 제안한 네트워크의 성능은 지식 전이를 하지 않은 학생 모델에 비해 PSNR(Peak Signal-to-Noise Ratio) 성능이 평균 0.17dB 개선되었으며 보간 속도는 교사 모델에 비해 720p 영상에 대해 1.7 배, 1080p 영상에 대해 1.5 배 개선된 결과를 확인하였다.