심층학습을 이용한 효과적인 멀티미디어 콘텐츠 관리 시스템에 관한 연구 = A study on the effective multi-media contents management system using deep learning

국문 초록 (Abstract)

본 논문은 전통적인 방식의 수동적인 콘텐츠 등록 및 분류 작업 체계의 멀티미디어 콘텐츠 관리시스템에 기계 학습(machine learning)의 한 분야인 심층 학습(deep learning)을 적용하여 기존의 콘텐츠 관리시스템의 콘텐츠 관리 구조를 벗어나 좀 더 능동적인 방식으로 콘텐츠를 관리할 수 있는 기존보다 향상된 방식의 콘텐츠 관리시스템의 구조를 제안한다. 콘텐츠 관리시스템이 흔히 채택하여 사용하고 있는 콘텐츠의 분류체계를 기반으로 심층 학습(deep learning)알고리즘의 컨볼루션 뉴럴 네트워크(CNN, Convolutional neural network)와 리커런트 뉴럴 네트워크(RNN, Recurrent Neural Network)를 사용하여 학습 모델을 구성하고, 학습된 모델을 활용하여 학습된 카테고리 체계에 맞게 자동 분류를 진행하는 콘텐츠 관리시스템의 구조 설계와 간략한 프로토타입을 제시한다. 콘텐츠의 분류 단계별로 각각의 학습 모델을 가지고 있으며, 최종 분류에 사용될 기준 모델은 별도로 구성된다. 결과적으로 제안하는 구조의 프로토타입 콘텐츠 관리시스템에서는 멀티미디어 콘텐츠를 CNN 모델과 RNN 모델로 구성된, 총 3개의 집합을 사용하여 37개의 레이블로 자동 분류가 가능하다.

다국어 초록 (Multilingual Abstract)

In this paper, we apply deep learning, which is an area of machine learning, to the content registration and classification system of multimedia contents management system in the traditional way, We propose a new structure of content management system which can manage contents in a more active way beyond the existing contents management structure of traditional contents management system. Based on the classification scheme applied to the existing content management system, a learning model is constructed using convolutional neural network (CNN) and recurrent neural network (RNN) of deep learning algorithm. And, we use the learned model to design the basic structure of the content management system that can be automatically classified according to the category system learned by deep learning and propose a basic prototype. Each content model has its own learning model for each classification stage, and the reference model to be used for final classification is separately configured. As a result, in the prototype content management system of the proposed structure, it is possible to automatically classify the multimedia contents into 37 labels using three sets of CNN model and RNN model.

목차 (Table of Contents)

• 국문초록 ⅵ
• 영문초록 ⅷ
• 제 1 장 서론 1
• 1.1 연구의 배경 및 목적 1
• 1.2 연구의 범위 및 방법 2
• 1.3 논문 구성 3
• 제 2 장 관련 연구 5
• 2.1 vgg16 pre-trained model transfer learning 5
• 2.2 Convolutional neural network 5
• 2.3 Recurrent Neural Network 6
• 2.4 Long Short-Term Memory 6
• 2.5 deeplearning4j 6
• 제 3 장 심층학습을 이용한 콘텐츠 관리시스템 설계 및 구현 8
• 3.1 인공지능이 적용된 콘텐츠 관리시스템 8
• 3.1.1 시스템 목표 8
• 3.2 시스템 환경 구성 9
• 3.2.1 애플리케이션 코어 개발 환경 10
• 3.2.2 애플리케이션 서비스 개발 환경 10
• 3.2.3 모델 학습 서버 개발 환경 10
• 3.3 콘텐츠 관리시스템 구조 11
• 3.4 콘텐츠 관리시스템 서비스 설계 12
• 3.4.1 사용자 서비스 설계 12
• 3.4.2 애플리케이션 코어 서비스 설계 13
• 3.4.3 모델 서버 Agent 설계 15
• 3.5 심층학습을 이용한 데이터 학습 모델 제작 17
• 3.5.1 VGG16 pre-trained model을 활용한 이미지 콘텐츠 학습 17
• 3.5.2 CNN을 활용한 사운드 콘텐츠 학습 19
• 3.5.3 LSTM을 활용한 동영상 콘텐츠 학습 20
• 3.6 화면 인터페이스 20
• 3.6.1 대시보드 화면 21
• 3.6.2 콘텐츠 등록 22
• 3.6.3 콘텐츠 추천 분류 23
• 3.6.4 분류 완료된 콘텐츠 리스트 24
• 3.6.5 콘텐츠 통합검색 26
• 3.6.6 모델 학습 제어 27
• 제 4 장 실험결과 및 평가 28
• 4.1 실험 환경 및 시나리오 28
• 4.1.1 테스트 환경 30
• 4.1.2 테스트 데이터 선별 30
• 4.2 실험결과 및 평가 30
• 4.2.1 데이터 분류 결과 31
• 4.2.2 실험 평가 32
• 제 5 장 결론 및 추후 연구 34
• 참고문헌 36