Transformer AutoEncoder를 활용한 보안 로그 이상 탐지 성능 평가 및 비교 = Evaluation and comparison of security log anomaly detection performance using Transformer AutoEncoder

국문 초록 (Abstract)

컴퓨터 통신과 인공지능 기술이 발전하고 스마트 기기의 확산으로 컴퓨터 시스템은 점점 더 복잡해지고 있다. 이러한 복잡성으로 인해 대규모 시스템 오류와 악의적 공격이 빈번하게 발생하고 컴퓨터 시스템의 가용성과 안정성에 심각한 영향을 초래하고 있다. 이에 따라 시스템에 대한 보안의 중요성이 커지면서 보안 로그 이벤트를 분석하여 잠재적인 위협을 식별하고 예방하는 로그 이상 탐지 알고리즘의 필요성이 증가하고 있다. 시스템 로그는 오류를 진단하고 내부 및 외부 침입을 탐지하는 데 중요한 역할을 하기 때문에 시스템 로그 분석은 정보 보안과 시스템 안정성을 유지하는데 필수이다.
현재 딥러닝을 활용한 로그 기반 이상 탐지(Log-based Anomaly Detection, LAD) 연구가 활발히 진행되고 있다. LAD를 위한 딥러닝 모델로는 DeepLog, LogBERT, LogCluster 그리고 LogAnomaly 등이 제안 되었으며, 이중 가장 대표적인 모델로는 DeepLog와 LogBERT가 있다. DeepLog는 LSTM을 기반으로 한 모델로, 적은 양의 정상 데이터만을 사용하기 때문에 다른 모델보다 초기에 이상 징후를 탐지할 수 있다는 장점이 있다. 그러나 많은 수의 로그 이벤트를 가진 데이터 세트의 경우 제대로 이상 징후를 탐지하기 힘들다는 단점이 있다. LogBERT는 BERT를 기반으로 하는 모델로 로그 입력의 일부를 ‘[MASK]’로 대체하고 이 부분을 예측하는 방식으로 이상 탐지를 수행하는 모델이다. 이 모델은 로그 시퀀스 전체 정보를 한 번에 처리할 수 있다는 장점이 있는 반면, 복잡한 알고리즘을 사용하기 때문에 학습 및 전처리 과정에서 높은 비용과 시간이 소요된다는 단점이 있다.
본 논문에서는 기존 로그 이상 탐지 모델에 비해 간단한 구조를 가지고 대규모 데이터 처리와 실시간 이상 탐지가 가능한 새로운 Transformer AutoEncoder(TAE) 모델을 제안하고, 다른 모델과 성능을 평가하고 비교한다. TAE는 Transformer와 AutoEncoder (AE) 구조를 통합한 모델이다. 제안하는 기법은 입력 데이터를 encoder와 은닉층(hidden layer)을 통해 압축하여 저차원의 데이터로 변환하고, decoder를 사용해 원래 데이터로 복원하는 구조를 갖고 있다. TAE를 사용하여 정상 로그 데이터를 훈련하게 되면 은닉층의 표현은 정상 데이터에 대해 잘 표현하여 복원 손실이 작은 반면, 비정상 데이터는 복원 손실이 크게 되어 정상 또는 비정상을 잘 탐지할 수 있게 된다. 은닉층 구조는 다양한 형태를 가질 수 있지만, 본 기법에서는 은닉층을 배제한 구조와 softmax를 활용한 은닉층 구조를 각각 제안하였다.
제안된 TAE의 성능을 평가하기 위해 HDFS, Thunderbird 그리고 BGL 데이터 세트를 활용한 로그 이상 탐지 실험을 수행하였다. Thunderbird와 BGL 데이터는 계산과 메모리 제약을 고려하여 일부 데이터만을 사용하여 실험을 진행하였다. 그리고 제안된 TAE의 성능을 위해 제안된 구조에서 다양한 head 수, layer 수, 은닉층 차원 그리고 epoch 수를 변환시켜 최적의 성능을 찾아 평가를 진행하였다. 실험결과 제안된 TAE은 HDFS와 Thunderbird에서 LogCluster, DeepLog, LogAnomaly 그리고 LogBERT보다 더 우수한 F1 Score를 나타내었다. TAE는 HDFS에서 94.214%, Thunderbird에서 99.130%의 성능을 나타내었다. 그러나 BGL에서는 TAE은 81.250%로 LogCluster와 LogAnomaly보다 더 높은 성능을 보였으나, DeepLog와 LogBERT에 비해 더 낮은 F1 Score을 나타내었다.
제안된 TAE 기법은 Transformer 기반 간단한 AE 구조를 갖고 있기 때문에 학습 및 탐지 과정에서 시간과 메모리 비용을 절감할 수 있다는 장점이 있다. 또한 짧은 로그 시퀀스를 처리하여 기존의 로그 이상 탐지 모델보다 초기 이상 탐지에 적합하다는 점을 실험 결과를 통해 알 수 있었다.

다국어 초록 (Multilingual Abstract)

With the development of computer communication and artificial intelligence technologies and the spread of smart devices, computer systems are becoming more and more complex. Due to this complexity, large-scale system errors and malicious attacks frequently occur and seriously affect the availability and stability of computer systems. Accordingly, as the importance of security for the system increases, the need for a log anomaly detection algorithm that analyzes security log events to identify and prevent potential threats is increasing. System log analysis is essential to maintain information security and system stability because system logs play an important role in diagnosing errors and detecting internal and external intrusion.
Currently, Log-based Anomaly Detection (LAD) research using deep learning is being actively conducted. DeepLog, LogBERT, LogCluster, and LogAnomaly have been proposed as deep learning models for LAD, and the most representative models are DeepLog and LogBERT. DeepLog is a model based on LSTM and has the advantage of being able to detect abnormalities earlier than other models because it uses only a small amount of normal data. However, a dataset with a large number of log events has the disadvantage that it is difficult to properly detect abnormalities. LogBERT is a model based on BERT and performs anomaly detection by replacing part of the log input with '[MASK]' and predicting this part. While this model has the advantage of being able to process the entire log sequence information at once, it has the disadvantage of high cost and time-consuming in the learning and preprocessing process because it uses complex algorithms.
This paper proposes a new Transformer Autoencoder (TAE) model that can process large-scale data and detect large-scale data and abnormalities in real-time compared to the existing log anomaly detection model, and evaluates and compares its performance with other models. TAE is a model that integrates the Transformer and Autoencoder (AE) structures. The proposed technique has a structure that compresses input data through an encoder and a hidden layer to convert it into low-dimensional data, and uses a decoder to restore it to the original data. When normal log data is trained using TAE, the representation of the hidden layer is well expressed for normal data, so the recovery loss is small, while abnormal data can be detected well due to large recovery loss. The hidden layer structure can have various forms, but in this technique, a structure excluding the hidden layer and a hidden layer structure using softmax were proposed, respectively.
Log anomaly detection experiments using HDFS, Thunderbird and BGL datasets were conducted to evaluate the performance of the proposed TAE. Thunderbird and BGL data were tested using only some data in consideration of calculation and memory constraints. In addition, the optimal performance was found and evaluated by converting various heads, layers, hidden layer dimensions, and epochs in the proposed structure for the performance of the proposed TAE. As a result of the experiment, the proposed TAE showed better F1 Score than LogCluster, DeepLog, LogAnomaly and LogBERT in HDFS and Thunderbird. TAE showed 94.214% performance in HDFS and 99.130% performance in Thunderbird. However, in BGL, TAE showed higher performance than LogCluster and LogAnomaly at 81.250%, but lower F1 Score than DeepLog and LogBERT.
Since the proposed TAE technique has a simple transformer-based AE structure, it has the advantage of reducing time and memory cost in the learning and detection process. In addition, the experimental results show that it is more suitable for initial anomaly detection than the existing log anomaly detection model by processing a short log sequence

목차 (Table of Contents)

• 제 1 장 서 론 1
• 1.1 연구 배경 1
• 1.2 연구 목적 및 내용 2
• 1.3 논문의 구성 3
• 제 2 장 딥러닝 기반 로그 이상 탐지 관련 연구 4
• 2.1 딥러닝 4
• 2.1.1 지도학습 5
• 2.1.2 비지도학습 7
• 2.2 로그 이상 탐지를 위한 딥러닝 기법 8
• 2.3 로그 이상 탐지 기법 관련 연구 11
• 2.3.1 DeepLog 모델 11
• 2.3.2 LogBERT 모델 12
• 제 3 장 Transformer AutoEncoder 기반 로그 이상 탐지 15
• 3.1 Transformer 15
• 3.2 AutoEncoder 17
• 3.3 제안된 Transformer AutoEncoder 기반 로그 이상 탐지 19
• 제 4 장 실험 및 결과 23
• 4.1 실험 데이터 및 전처리 23
• 4.1.1 실험 환경 및 데이터 23
• 4.1.2 로그 데이터의 전처리 24
• 4.1.3 성능 평가 지표 26
• 4.2 실험 내용 및 결과 29
• 4.2.1 HDFS 실험결과 30
• 4.2.2 Thunderbird 실험결과 38
• 4.2.3 BGL 실험결과 43
• 제 5 장 결론 및 향후 연구 방향 53
• 참 고 문 헌 54
• Abstract 57
• Appendix 60