준지도 이상치 탐지를 위한 통계적 임계값 기반의 슈도 라벨링 = Statistical Threshold-based Pseudo-labeling for Semi-supervised Anomaly Detection

국문 초록 (Abstract)

이상치 탐지는 비정상 데이터를 탐지하는 작업으로 데이터 마이닝의 주요 분야 중 하나이다. 최근 전문가 피드백에 의해 소수의 이상치 데이터에 대한 라벨이 이용 가능해지면서 준지도 방법의 연구가 활발히 진행되고 있다. 그러나 준지도 이상치 탐지 연구들은 라벨을 지닌 데이터를 잘 활용하는 데에만 집중하고 라벨이 없는 데이터는 단순히 정상으로 간주하는 접근법을 사용한다. 라벨이 없는 데이터에 일부 이상치 데이터가 포함되어 있다는 점을 고려하였을 때, 이와 같은 접근법은 준지도 이상치 탐지의 성능을 저해할 수 있다. 본 연구에서는 준지도 이상치 탐지를 위한 통계적 임계값 기반의 슈도 라벨링 방법을 제안한다. 구체적으로, 이 방법은 정밀도와 재현율의 trade-off 관계를 고려하여 4-시그마 기반의 임계값 설정 방법을 제안한다. 인조, 실제 이상치 탐지 벤치마크 데이터 셋을 활용한 실험에서 제안된 방법론이 기존 이상치 탐지 알고리즘의 성능을 0.33%-85.23% 개선함을 보였다.

참고문헌 (Reference)

1 Moustafa, N., "UNSW-NB15: a comprehensive data set for network intrusiondetection systems (UNSW-NB15 network data set)" 1-6, 2015

2 Bache, K., "UCI Machine Learning Repository" University of California. School of Information and Computer Scienece 2013

3 Mahoney. M. V., "Networktraffic anomaly detection based on packet bytes" 346-350, 2003

4 Kreiegel, H. P, "Interpreting and unifyingoutlier scores" 13-14, 2011

5 LeCun, Y, "Handwritten digit recognition with a back-propagation network" 2 : 396-404, 1989

6 Xiao, H, "Fashion-mnist: a novel image dataset for benchmarking machine learning algorithms"

7 Pang, G., "Deep anomaly detection withdeviation networks" 353-362, 2019

8 Ruff, L, "Deep Semi-Supervised Anomaly Detection" 2020

9 Ahmed, M, "Anomaly detection on big data in financial markets" IEEE 998-1001, 2017

10 Wei, Q., "Anomaly detection for medical images based on a one-class classification" International Society for Optics and Photonics 10575 : 105751M-, 2018

11 Brotherton, T., "Anomaly detection for advanced military aircraft using neural networks" 6 : 3113-3123, 2001

12 Windmann, S., "A stochastic method for the detection of anomalous energy consumption in hybrid industrial systems" IEEE 194-199, 2013