효과적인 상황인지를 위한 지식 증류 기반의 트랜스포머 모델 : 시계열 공간 데이터에서 시-공간 정보를 어텐션하는 트랜스포머 기반의 상황인지 모델 = Transformer for Situation Recognition Based on Knowledge Distillation : A transformer-based situation recognition model that attention to spatial-temporal information in time-series map simulation data

국문 초록 (Abstract)

상황인지(Situation Recognition)는 컴퓨터 비전과 인공지능의 결합을 통해 주변 환경을 이해하고 상황을 인식하는 기술을 개발하는 분야이다. 상황인지 분야는 주로 CNN, RNN 모델을 기반으로 연구되었다. 본 논문은 기존에 상황인지에 주로 사용되던 CNN 기반 모델 대신 Transformer를 기반으로 공간 정보와 시간정보를 어텐션하는 상황인지 모델을 제안한다.
상황인지 분야는 이미지 분류 같은 대중적인 분야에 비해 학습 데이터를 구하기가 까다롭다. 어떤 상황을 인지하는지에 따라 데이터를 직접 구해야 하는 경우가 많아, 최근 모델의 학습에 필요한 충분한 양의 데이터를 확보하지 못하는 경우가 많다.
따라서 이를 해결하기 위해 지식 증류 알고리즘을 적용하여, 적은 데이터에서도 효과적으로 학습이 되는 시공간 트랜스포머 기반의 상황인지 모델을 제안한다.
전장 상황에서 5초 후 아군 피해도를 예측하는 실험을 진행하며, 전장 시뮬레이터인 VT-MAK에서 상황인지에 필요한 특징만 추출하여 전처리한 데이터를 모델의 학습 데이터로 사용하여 모델 성능을 검증한다.
기존 CNN 기반 상황인지 모델 및 지식 증류를 사용하지 않은 모델과의 비교를 통해, 제안된 모델이 기존 모델대비 성능의 향상을 보임에 따라 본 논문에서 제안된 모델의 유효성을 증명하였다.

다국어 초록 (Multilingual Abstract)

Situation Recognition is a field that develops technology to understand the surrounding environment and recognize situations through the combination of computer vision and artificial intelligence. The field of situational awareness has been mainly studied based on CNN and RNN models. This paper proposes a context-awareness model that pays attention to spatial and temporal information based on a Transformer instead of a CNN-based model that was mainly used for context-awareness in the past.
Context awareness is more difficult to obtain training data than popular fields such as image classification. In many cases, data must be obtained directly depending on the situation in which it is recognized, so it is often difficult to secure sufficient amount of data necessary for learning the latest model.
Therefore, to solve this problem, a knowledge distillation algorithm is applied to propose a space-time transformer-based context-awareness model that can learn effectively even with a small amount of data.
In a battlefield situation, an experiment to predict the damage of allies after 5 seconds is conducted, and the model performance is verified by using the preprocessed data as the training data of the model by extracting only the features necessary for situational awareness in the battlefield simulator VT-MAK.
Through comparison with existing CNN-based context-awareness models and models that do not use knowledge distillation, the validity of the proposed model in this paper was proved as the proposed model showed improved performance compared to the existing model.

목차 (Table of Contents)

• 제1장 서론 1
• 제2장 관련 연구 4
• 제1절 심층 학습(Deep Learning) 4
• 제2절 합성곱 장단기메모리(Conv LSTM) 5
• 제3절 어텐션 메커니즘(Attention Mechanism) 7
• 제4절 트랜스포머(Transformer) 9
• 제5절 비전 트랜스포머(Vision Transformer) 12
• 제6절 지식 증류(knowledge Distillation) 14
• 제3장 Method 16
• 제1절 메소드 요약 16
• 제2절 시공간 트랜스포머 모델 16
• 1. 공간 트랜스포머 블록 (Spatial Transformer Block) 17
• 2. 시간 트랜스포머 블록 (Temporal Transformer Block) 20
• 제3절 지식 증류(knowledge Distillation) 22
• 1. 공간 지식 증류 (Spatial Knowledge Distillation) 24
• 2. 시간 지식 증류 (Temporal Knowledge Distillation) 25
• 제4장 실험 및 분석 27
• 제1절 데이터 셋 27
• 제2절 학습 28
• 제3절 실험 결과 분석 30
• 제5장 결론 32
• 참고문헌 34
• 국문초록 37