Autoencoder-Based Robust Anomaly Detection for Multivariate Time Series with Various Normalities = 다양한 정상성을 포함하는 다변량 시계열을 위한 오토인코더 기반의 강건한 이상 탐지

국문 초록 (Abstract)

시계열 데이터의 차원이 증가함에 따라 데이터 속에 정상과 비정상의 다양성이 증가하여, 정상 상황과 비정상 상황을 구분하는 것이 어려워졌다. 오토인코더는 고차원의 데이터를 처리하고 직관적으로 이상을 탐지하기 때문에 이상 탐지에 많이 사용된다. 그러나, 단일 인코더 구조는 정상 특징 추출 능력이 제한되어 재구성의 질이 최적화되지 못한다. 또한, 오토인코더의 우수한 일반화 능력과 노이즈에 대한 강건성으로 인해 정상과 비정상의 구별이 어렵다. 이러한 한계를 극복하기 위해, 비지도 학습 방식의 새로운 방법을 제안한다. 제안 방법은 듀얼 어텐션 메커니즘을 포함한 다중 인코더 구조를 통해 다양한 관점에서 정상 패턴을 학습한다. 또한, 메모리 모듈을 사용하여 정상에 대한 원형 정보를 기록한다. 이를 통해 정상 데이터에 대한 재구성의 질이 향상되고 이상을 안정적으로 탐지할 수 있다. 3개의 다변량 시계열 데이터셋에 대한 비교 실험을 통해, 다양한 정상성이 포함된 시나리오와 간단한 이진 분류 시나리오에서 제안 방법이 가장 우수한 성능을 보이는 것을 확인했다. 또한, 제안 방법의 구성 요소가 성능 향상에 미치는 영향을 검증했다. 심화 실험을 통해, 제안 방법이 정상성의 다양한 정도가 점진적으로 증가할 때에도 안정적으로 높은 성능을 보이는 것을 확인했다.

다국어 초록 (Multilingual Abstract)

As the dimensionality of time series data increases, distinguishing between normal and abnormal situations becomes challenging owing to the growing number of cases that can be classified as either. Autoencoders are widely used in anomaly detection because of their ability to handle high-dimensional data and detect anomalies intuitively. However, their single-encoder structure limits their ability to extract normal features, resulting in a suboptimal reconstruction quality. Furthermore, their strong generalization and robustness to noise make it difficult to differentiate between normality and abnormality. Motivated by these challenges, we proposed a novel method called multiple encoders with dual-attention memory network (MEDAM), which utilizes a multiple-encoders with dual-attention structure to learn normal patterns from various perspectives and memory modules to record normal profiles. This results in improved reconstruction quality for normal data and stable detection of anomalies. Extensive experiments conducted on three datasets (DSADS, PAMAP2, and PDgait) revealed the superiority of MEDAM over baseline methods in two distinct scenarios: detecting anomalies in data with varying normalities and performing straightforward binary classification. We also verified the positive effects of the detailed elements of MEDAM on anomaly detection. Further experiments demonstrated that MEDAM consistently detected anomalies, even when the diversity within normality systematically increased.

목차 (Table of Contents)

• ABSTRACT i
• 국문 초록 iii
• TABLE OF CONTENTS v
• LIST OF TABLES vii
• LIST OF FIGURES viii
• CHAPTER 1. INTRODUCTION 1
• CHAPTER 2. RELATED WORKS 3
• 2.1 Autoencoder-Based Anomaly Detection 4
• 2.2 Multiple-Attention Mechanism 5
• CHAPTER 3. PROPOSED METHOD 6
• 3.1 Problem Statement 6
• 3.2 Overview 7
• 3.3 Dual-Attention Mechanism 9
• 3.4 Multiple Memory Encoders and Decoders 11
• 3.4.1 Convolutional encoder 12
• 3.4.2 Memory module 12
• 3.4.3 Multiple feature extraction and reconstruction 14
• 3.5 Training and Anomaly Detection 16
• CHAPTER 4. EXPERIMENTS 17
• 4.1 Datasets 17
• 4.2 Experimental Setup 19
• 4.2.1 Baseline methods 19
• 4.2.2 Implementation details 21
• 4.3 Results and Analysis 22
• 4.3.1 Datasets for simulating multiple normality 23
• 4.3.2 Dataset for simulating binary classification 24
• 4.3.3 Analysis of reconstruction results 25
• 4.4 Ablation Study 27
• 4.4.1 Effectiveness of each component 27
• 4.4.2 Multiple memory encoders analysis 28
• 4.4.3 Robustness to multiple normality 28
• 4.5 Variation Analysis 31
• 4.5.1 Hyperparameter sensitivity 31
• 4.5.2 Threshold setting 32
• CHAPTER 5. CONCLUSION 33
• REFERENCES 35