Video Caption Generation based on Object Behaviors and Attributes : 객체 행동 및 속성에 기반한 비디오 캡션 생성

다국어 초록 (Multilingual Abstract)

Due to the development of AI technology, in order to recognize and understand the surrounding environment, speech and visual abilities, language understanding, action planning, and prediction are required. Therefore, effective video captioning continues to require advanced capabilities to predict the behavior of nearby objects and generate appropriate captions for future scenarios. This has a limitation in that it relies on user behavior for prediction, which limits the information that can be provided to the user. For this, it is necessary to develop a technique that provides behavioral information to users in various environments. The method proposed in this thesis describes visual content by analyzing the behavior and characteristics of objects in the video, and generates captions for the input video by combining global and local characteristics of visual features. In this thesis, I verify and evaluate the performance of an effective video caption generation method by comparing the behavior and attributes of objects in the video with convolutional neural network methods such as ResNet and ViT, which are individually pre-trained on the visual features of the input video.

국문 초록 (Abstract)

AI 기술 발달로 인하여 주변 환경을 인식하고 이해하기 위해서 음성 및 시각 능력, 언어 이해 능력, 행동 계획 및 예측 능력이 필요하다. 이에 효과적인 비디오 캡션 생성을 위해서 주변 개체의 동작을 예측하고 미래의 시나리오에 대한 적절한 캡션을 생성하는 고도화된 성능이 꾸준히 요구되고 있다. 이는 예측을 위해 사용자 행동에 의존하기 때문에 사용자에게 제공할 수 있는 정보가 제한적이라는 한계가 있다. 이를 위해 다양한 환경에서 사용자에게 행동 정보를 제공할 수 있는 기술 개발이 필요하다. 본 논문에서 제안하는 방법은 비디오 내 객체의 동작과 특성을 분석하여 시각적 콘텐츠를 설명하고, 시각적 기능의 전역 및 로컬 특성을 결합하여 입력 비디오에 대한 캡션을 생성한다. 본 논문에서는 입력 비디오의 시각적 특징들에 대해 개별 사전 학습된 ResNet 및 ViT와 같은 합성곱 신경망 방법을 적용한 동영상 내의 객체 동작 및 속성을 비교 분석하여 효과적인 비디오 캡션 생성 방법의 성능을 검증하고 평가한다.

목차 (Table of Contents)

• I. Introduction 1
• II. Related Works 7
• 2.1 Basic Deep Learning Models 7
• 2.1.1 Convolutional Neural Network (CNN) 7
• 2.1.1.1 Visual Geometry Group Network (VGGNet) 8
• 2.1.1.2 Residual Network (ResNet) 9
• 2.1.2 Recurrent Neural Network (RNN) 9
• 2.1.2.1 Long Short-Term Memory (LSTM) 10
• 2.1.2.2 Attention 11
• 2.1.2.3 Transformer 11
• 2.2 Video Classification 13
• 2.2.1 Vision Transformer (ViT) 14
• 2.3 Video Captioning 15
• 2.3.1 Using a Sequence-to-Sequence approach to video captioning 16
• 2.3.2 Using an End-to-End approach to video captioning 16
• III.Proposed Method 19
• 3.1 Video Captioning System 19
• 3.2 Video Caption Generation model architecture 20
• 3.2.1 Proposed model for video feature extraction 22
• 3.2.2 Proposed model for generating video captions 26
• 3.3 Training Phase 29
• 3.4 Test Phase 30
• IV. Experiments 31
• 4.1 Pre-trained models 31
• 4.2 Dataset 33
• 4.2.1 MSVD 33
• 4.2.2 MSR-VTT 34
• 4.3 Preprocessing 34
• 4.4 Experimental Settings 37
• 4.5 Results 37
• 4.5.1 Video Caption Generation learning and assessment metrics 38
• 4.5.1.1 BLEU 38
• 4.5.1.2 METEOR 39
• 4.5.1.3 ROUGE_L 40
• 4.5.1.4 CIDEr 40
• 4.5.2 Quantitative and qualitative results 41
• 4.5.2.1 Performance Comparison of Video Caption Generation Models on the MSVD Dataset 41
• 4.5.2.2 Performance Comparison of Video Caption Generation Models on the MSR-VTT Dataset 45
• 4.5.2.3 Video Caption Generation Results 49
• V. Conclusion 52
• References 54
• Abstract (In English) 57
• Abstract (In Korean) 59