특정 데이터셋 온톨로지 기반 폭행 감지를 위한 LSTM 영상 주석 = DOMAIN-SPECIFIC ONTOLOGY-BASED VIDEO CAPTIONING WITH LSTM FOR VIOLENCE DETECTION

국문 초록 (Abstract)

컴퓨터 비전은 사진 또는 동영상의 시각적 정보를 높은 수준으로 이해할 수 있도록 하는 다원적인 연구분야이다. 이 과정은 정보를 일반적 또는 풍부하게 추출하고 추출된 정보를 추론하기 위한 다양한 기법과 방법을 포함한다. 지난 10년간 발전의 큰 도약으로, 딥러닝은 컴퓨터 비전 분야에서 많이 연구되고 있다.
컴퓨터 비전과 딥러닝의 응용 프로그램 중 하나는 다양한 응용 프로그램으로 확장되는 지능형 감시입니다. 지능형 감시에는 보안 시스템, 인적 활동 인식, 교통 관리 및 법 집행 시스템을 포함할 수 있지만 이에 국한되지는 않다. 보안에 중점을 두고 특정 제한 지역 주변의 이물질 탐지, 수배범 식별 또는 비정상적인 활동 감지와 같은 다양한 형태의 범죄 예방이 적용될 수 있다.
비정상적 활동 감지는 일반적으로 학문적 규율에 속하는 정상적인 / 비정상적인 패턴의 존재를 인식하기 위해 심층 학습 구조를 필요로 한다. 패턴의 특이를 인식하기 위해 개발된 접근법이 많지만, 본 논문에서 제안 된 이상 탐지 시스템의 중추로서 딥러닝 기반 이미지 캡션을 사용한다. 제안된 접근 방식은 이미지 캡션 생성(2장)과 그 구현에 초점을 맞추고 있으며, 이를 유능한 모니터링 시스템으로서의 기능을 보여준다.
제 3장에서는 제안된 접근 방식은 특징 벡터가 주어진 단어 임베딩에 장단기 메모리(LSTM) 레이어를 사용한다. 또한, 제안된 접근법은 매우 인기 있는 단어 내장 사전인 GloVe 색인 방법을 사용한다.
제 4장은 특정 환경에서 발생할 수 있는 폭력 활동을 탐지하기 위해 개발된 프로토타입을 검토한다. 결과 캡션이 로우패스 필터와 임계값을 통과하여 경보를 알린다.

다국어 초록 (Multilingual Abstract)

Computer vision is a multidisciplinary field of study that attempts to enable a high-level understanding of visual information in the form of digital images or videos by computers. The process generally involves the usage of various techniques and manipulation to extract information, generally or richly, and make an inference out of the extracted information. With a great leap of development in the past decade, deep learning has been gaining more popularity in the study of computer vision.
One of the real-world applications of computer vision and deep learning is intelligent surveillance which branches out to many different applications. Some of these might include but are not limited to, security systems, human activity recognition, traffic management, and law enforcement system. Under the security focus of its application, various forms of crime prevention can be applied such as detection of foreign bodies around certain restricted areas, identification of wanted criminals, or abnormal activity detection.
Abnormal activity detection commonly requires a deep learning architecture to recognize the presence of abnormal/unusual patterns which falls under its academic discipline. While there are many approaches developed to recognize the outlier in the pattern, this manuscript uses deep-learning-based image captioning as the backbone of the proposed anomaly detection system. The proposed approach focuses on image caption generation (Chapter 2) and its implementation to show its function as a capable monitoring system.
In Chapter 3, the proposed approach uses the Long-Short-Term Memory (LSTM) layer for word embedding given a feature vector. Also, the proposed approach makes use of the GloVe indexing method which is a highly popular word embedding dictionary.
Chapter 4 reviews the developed prototype to detect probable violent activities in a given environment. The resulting caption is passed through a low-pass filter and threshold to trigger the alarm.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• 1.1 Motivation and Background 1
• 1.2 Problem Description and Objective 2
• 1.3 Contributions 3
• 1.4 Disposition 4
• Chapter 2. Literature Review 5
• 2.1 Image and Video Captioning 5
• 2.1.1 Multimodal Recurrent Neural Network 7
• 2.1.2 Merge architecture 8
• 2.1.3 Show, Attend and Tell 10
• 2.1.4 Sequence to Sequence – Video to Text (S2VT) 11
• 2.1.5 Dense Captioning 13
• 2.2 Anomaly Detection 14
• 2.2.1 Violence Detection in Video Using 3D Convolutional Neural Networks 16
• Chapter 3. Proposed Domain-specific Ontology-Based Video Captioning 18
• 3.1 Ontology 19
• 3.2 Deep-learning Model Training 21
• 3.2.1 Inception-v3 21
• 3.2.2 LSTM 22
• 3.3 Inference Accumulation 25
• Chapter 4. Simulation Results and Considerations 27
• 4.1 Datasets and Training Environments 27
• 4.2 Simulation Results 32
• Chapter 5. Conclusions 41
• REFERENCES 44
• 개요 50