LSTM-RBM을 사용한 시퀀스 로그 이상 탐지에 관한 연구 = A Study on Sequence Log Anomaly Detection Using LSTM-RBM

국문 초록 (Abstract)

로그 이상 탐지는 정보 시스템에서 보안 및 문제 진단에 중요한 도구로 활용되고 있다. 최근 컴퓨터 시스템 발달로 인한 로그 데이터의 폭발적인 증가로 인해, 로그 분석은 매우 복잡한 작업이 되었다. 이에 따라 시스템 이상을 자동으로 분석하고 성능을 향상시킬 딥러닝 접근 방식의 연구가 제안되고 있다. 그중 가장 대표적인 딥러닝 기반 로그 이상 탐지 모델인 DeepLog는 로그 템플릿의 인덱스만을 활용하기 때문에 로그 구문 분석 오류의 영향을 크게 받는 단점이 있다. 시퀀스 로그 데이터에 대한 DeepLog 모델을 향상시키기 위해 LSTM-RBM을 사용한 새로운 딥러닝 기반 로그 이상 탐지 기법을 제안한다. LSTM-RBM은 일반적으로 시계열 데이터를 학습하고 생성하는 확률적인 모델로 사용된다. 이러한 LSTM-RBM을 로그 데이터의 이상 탐지를 위한 예측 모델로써 사용을 제시한다. LSTM-RBM을 사용하여 시간에 따라 변하면서 서로 상관관계에 있는 시퀀스 로그 데이터의 확률 분포를 계산할 수 있다. 제안된 기법의 성능을 평가하기 위해 세 가지 데이터셋 HDFS, Thunderbird, BGL을 이용하였다. 하이퍼파라미터 조절을 통해 최적의 값을 도출하였고 두 가지 학습 방법 Loglikihood와 Joint 실험 결과를 비교하였다. 실험 결과, 제안된 LSTM-RBM 모델은 기존의 DeepLog 모델보다 더 높은 성능을 보였다. LSTM-RBM은 오픈데이터 HDFS의 경우 F1 스코어 96.255%, 가공데이터 HDFS 94.31%, Thunderbird 68.28%, BGL 84.339%가 측정되었다. 또한 HDFS 데이터셋을 사용하여 가공데이터의 경우 전처리 과정에 대한 의존성을 낮추면서 DeepLog 모델의 단점 보완한 점을 확인할 수 있었다. 해당 결과들을 통해 LSTM-RBM 기반의 시퀀스 로그 이상 탐지에 대해 효과적인 딥러닝 모델을 제시한다.

다국어 초록 (Multilingual Abstract)

Log anomaly detection is used as an important tool for security and problem diagnosis in information systems. Due to the explosive increase in log data due to the recent development of computer systems, log analysis has become a very complex task. Accordingly, research on a deep learning approach that automatically analyzes system anomalies and improves performance is being proposed. Among them, DeepLog, which is the most representative deep learning-based log anomaly detection model, has the disadvantage of being greatly affected by log parsing errors because it uses only the index of log templates. We propose a new deep learning-based logarithmic anomaly detection technique using LSTM-RBM to improve the DeepLog model for sequence log data. LSTM-RBM is commonly used as a stochastic model to learn and generate time series data. We present the use of this LSTM-RBM as a predictive model for detecting anomalies in log data. LSTM-RBM can be used to calculate the probability distribution of sequence log data that are correlated with each other as they change over time. Three datasets, HDFS, Thunderbird, and BGL, were used to evaluate the performance of the proposed method. Optimal values were derived through hyperparameter adjustment, and the results of two learning methods, Loglikihood and Joint experiments, were compared. As a result of the experiment, the proposed LSTM-RBM model showed higher performance than the existing DeepLog model. LSTM-RBM measured F1 score of 96.255% for open data HDFS, 94.31% for processed data HDFS, 68.28% for Thunderbird, and 84.339% for BGL. In addition, it was confirmed that the disadvantages of the DeepLog model were supplemented while reducing the dependence on the preprocessing process in the case of processed data using the HDFS dataset. Through the results, we present an effective deep learning model for LSTM-RBM-based sequence log anomaly detection.

목차 (Table of Contents)

• 국문 초록 ⅴ
• 제 1 장 서 론 1
• 1.1 연구 배경 1
• 1.2 연구 목적 및 내용 2
• 1.3 논문 구성 2
• 제 2 장 딥러닝 기반 로그 이상 탐지 4
• 2.1 로그 이상 탐지 기법 4
• 2.2 딥러닝 모델 6
• 2.2.1 딥러닝 개요 6
• 2.2.2 LSTM 9
• 2.2.3 제한된 볼츠만 머신 10
• 2.3 로그 이상 탐지를 위한 딥러닝 기법 14
• 2.3.1 딥러닝 기반 로그 이상 탐지 분류 15
• 2.3.2 딥러닝을 활용한 로그 이상 탐지 15
• 2.3.3 DeepLog 모델 17
• 제 3 장 LSTM-RBM 기반 로그 이상 탐지 19
• 3.1 LSTM-RBM 19
• 3.2 제안된 LSTM-RBM 기반 로그 이상 탐지 20
• 제 4 장 실험 및 결과 24
• 4.1 실험 데이터 및 전처리 24
• 4.1.1 실험 환경 및 데이터 24
• 4.1.2 로그 데이터 전처리 25
• 4.1.3 성능 평가 지표 28
• 4.2 실험 내용 및 결과 29
• 4.2.1 DeepLog 기법의 로그 이상 탐지 결과 29
• 4.2.2 LSTM-RBM 기반 로그 이상 탐지 결과 30
• 제 5 장 결론 및 향후 연구 방향 40
• 참 고 문 헌 41
• Abstract 45