Anomaly detection based on skew-normal mixture model with autoencoder

다국어 초록 (Multilingual Abstract)

Anomaly detection has been researched as a technique to classify anomaly data that has different characteristics compared to normal observations. Distribution-based anomaly detection approaches have played a positive role among these anomaly detection models. In general, since abnormal observations are often noticeably less frequent than normal observations, one-class classification (OCC) is employed to tackle this issue by training the model only a single class of observations representing the normal class. This thesis introduces a model for anomaly detection using autoencoders to effectively reduce high-dimensional data into a lower-dimensional space and then training only normal data. In cases where the distribution of normal observations includes skewness, setting up a symmetric distribution might mistakenly classify normal observations as anomalies. Thus, in this thesis, we aim to utilize a flexible skew-normal distribution, which is suitable for the data with strong skewness and heavy tails. Moreover, to handle data with complex distributions, we adapt the skew-normal mixture model to detect anomalies more accurately.

국문 초록 (Abstract)

이상탐지 모형은 정상 샘플과 다른 양상을 보이는 데이터를 탐지하는 기법으로 다양하게 연구되어 왔다. 특히 분포 기반 이상탐지 모형은 그 중 큰 틀을 차지하는 방법중 하나이다. 또한 일반적으로 비정상 샘플이 정상샘플보다 확연히 적은 양상을 보이기 때문에 이러한 문제를 해결하기 위해서 단일샘플의 영역만을 학습하는 OCC(One Class Classification)을 이용하여 정상샘플의 영역를 지정하기도 한다. 이에 따라, 본 논문은 오토인코더를 이용하여 고차원 데이터를 효과적으로 저차원으로 축소 후, 정상자료 만을 학습하여 이상탐지를 하는 모형을 소개한다. 이때 정상 영역의 분포가 대칭적이지 않고 꼬리가 두꺼운 분포를 따를 때, 대칭을 따르는 분포를 가정하면 정상치가 이상치로 판단 되는 등 잘못된 정상분포의 범위를 설정하게 된다. 따라서 본 연구에서는 강한 왜도를 갖고 두꺼운 꼬리를 가질때는 잘 사용할 수 있는 왜정규분포를 이용하여 유연하게 분포를 설정하게 하고자 한다. 또한 데이터가 복잡한 분포를 가질 때 사용할 수 있는 왜정규혼합모형을 사용해 더 정교하게 이상치를 판별하고자 한다.

목차 (Table of Contents)

• 1 Introduction 1
• 2 Background 4
• 2.1 Autoencoder 4
• 2.2 Mixture model 7
• 2.2.1 Gaussian mixture model (GMM) 7
• 2.3 Deep autoencoding Gaussian mixture model 12
• 3 Skew-normal distribution 16
• 3.1 Univariate skew-normal distribution 16
• 3.2 Multivariate skew-normal distribution (MSN) 17
• 3.2.1 Multivariate truncated normal distribution 18
• 3.2.2 Parameter estimation 20
• 4 Deep auotoencoding skew-normal mixture model (DASKNM-EM) 23
• 4.1 Introduction 23
• 4.2 Compression network 24
• 4.3 Estimation network 25
• 5 Simulation 31
• 5.1 Simulation environment 31
• 5.1.1 Accuracy 33
• 5.1.2 Baseline model 36
• 5.2 Simulation results 37
• 5.2.1 Case 1 37
• 5.2.2 Case 2 41
• 5.2.3 Case 3 43
• 5.2.4 Case 4 47
• 6 Real data examples 50
• 6.1 Credit card 50
• 6.2 Satellite 54
• 7 Conclusion 58