Dense Optical Flow에 근거한 손실함수를 통한 MIM의 학습 효율 향상 = Improving the learning efficiency of MIM by Loss Function based on Dense Optical Flow

국문 초록 (Abstract)

본 논문은 동영상 예측에 관한 논문이다. 동영상 예측은 딥러닝을 통하여 어떤 동영상 내부에 있는 이동 및 정지하고 있는 객체를 분할하여, 이 객체들의 이후의 상황을 예측하여 새로운 영상을 생성하는 기술이다. 동영상 예측을 위한 기존 예측모델 대부분은 통계적 확률 분포에 근거한다. 하지만 손실을 계산하고 역전파를 수행하는 과정에서 확률 분포와 영상 내 객체의 움직임에 대한 차이를 명확하게 정의할 수 있는 손실함수가 존재하지 않기 때문에 학습 단계에서 수렴시간이 많이 소요되고, 객체의 형체를 부정확하게 예측하는 단점이 있다.
본 논문에선 이러한 단점을 개선하기 위하여 Optical flow에 근거한 손실함수를 MIM에 내장시킨 Optical flow MIM을 제안하고 실험을 통하여 성능을 평가한다. 제안하는 예측모델은 먼저 통계적 확률 분포와 시공간 변경에 따른 객체 이동 정보를 CNN-LSTM 방식을 사용하여 학습된 다음, 역전파 단계에서 MSE와 Optical Flow를 통한 손실을 계산하여 객체의 이동 정보와 통계적 확률 분포를 갱신한다.
실험은 동영상 데이터셋인 Moving Mnist, Human 3.6M을 사용하여 학습하고 평가한다. 실험 결과 기존 모델보다 10,000~20,000회 정도의 학습 속도 차이를 보이고, SSIM, MAE, MSE 등의 정확도 또한 2% 향상된다.

다국어 초록 (Multilingual Abstract)

This paper describes video prediction. Video prediction is a technique for segmenting moving and still objects on a video image, predicting the subsequent situations of these objects, and then generating a new image through deep learning. Most of the existing prediction models for video prediction are based on statistical probability distributions. However, this approach has drawbacks in the both respect of convergence time and inaccurate, because the loss function used in calculating the loss and performing error backpropagation cannot clearly define the difference between a probability distribution and the motion of an object in a image.
In order to improve the drawbacks, this paper proposes an optical flow MIM that embeds a loss function based on the optical flow into the MIM and evaluates its performance through experiments. The proposed prediction model first learns the statistical probability distribution and object movement information according to the spatio-temporal change using the CNN-LSTM method, and then calculates the loss through the MSE and Optical Flow in the backpropagation step to update the movement information and statistical probability distribution.
The performance of the proposed method is verified by experiments. The video dataset Moving Mnist, Human 3.6M are used for the experiments. Experimental results show a learning rate difference of 10,000 to 20,000 times over existing models, and the accuracy of SSIM, MAE, MSE, etc. is also improved about 2%.

목차 (Table of Contents)

• 제 1 장 서론 1
• 1.1 연구배경 및 목적 1
• 1.2 제안 방법 2
• 1.3 논문 구성 3
• 제 2 장 관련 연구 4
• 2.1 Optical Flow 4
• 2.2 Video Prediction 4
• 제 3 장 제안하는 동영상 예측 모델 6
• 3.1 통계적 정상, 비정상 데이터 6
• 3.2 모델 구조 9
• 3.2.1 ST-LSTM 9
• 3.2.2 MIM Block 10
• 3.3 Optical Flow 손실 15
• 제 4 장 실험 및 결과 17
• 4.1 Moving Mnist Dataset 22
• 4.2 Human 3.6M Dataset 29
• 4.3 한계 34
• 제 5 장 결 론 35
• 참고문헌 36