Machine-Learning Algorithms with Sequential Data Analysis to Detect Security Threats = 보안 위협 탐지를 위한 순차 데이터 분석 기반 머신러닝 알고리즘에 대한 연구

다국어 초록 (Multilingual Abstract)

Modern computing environments—from resource-constrained IoT devices to hyperscale cloud infrastructures—face security threats that are rapidly escalating in scale and severity. Contemporary cyber attacks often unfold in multiple stages, exploiting vulnerabilities across the software stack. Each stage generates sequential data—such as network packets, system-call traces, or binary instruction streams—that encode attacker behaviors and can serve as early-warning signals for threat detection.
This thesis explores how machine learning (ML)—particularly models designed for sequential data (i.e., sequence-aware models)—can enhance the detection of security threats at both runtime and pre-execution stages. Sequence-aware ML models—such as recurrent neural networks (RNNs), long short-term memory (LSTM) networks, and transformers—are well-suited to capturing temporal dependencies and generalizing beyond previously known threats. To demonstrate this approach, this thesis presents two detection systems. Chapter 2 introduces Panop, a distributed intrusion detection system for IoT networks that leverages autoencoders to model device- and network-level behaviors for real-time anomaly detection. Chapter 3 presents Pfuzz, a binary-level fuzzing framework that employs binary code similarity analysis to identify regions resembling known vulnerabilities and directs fuzzing efforts toward them for faster discovery. Together, these systems demonstrate the effectiveness of sequence-aware ML techniques in detecting diverse security threats. This thesis proposes ML systems that integrate pre-execution analysis and runtime monitoring, offering a scalable and adaptive detection system against evolving cyber threats.

국문 초록 (Abstract)

현대의 컴퓨팅 시스템, 예를 들어 IoT 네트워크부터 클라우드 인프라까지, 는 갈수록 규모와 복잡성이 증가하는 보안 위협에 직면하고 있습니다. 최근의 사이버 공격은 다단계로 이뤄지며, 각 단계에서 네트워크 패킷, 시스템 콜 시퀀스, 바이너리 명령어 흐름 등 순차 데이터를 생성합니다. 이러한 데이터는 공격자의 행위를 반영하며, 위협 탐지를 위한 조기 신호로 활용될 수 있습니다.
본 학위논문은 머신러닝(ML), 특히 순차 데이터를 처리하기에 적합한 모델들이 런타임 및 프로그램 실행 이전 단계에서 보안 위협 탐지를 어떻게 향상시킬 수 있는지를 살펴봅니다. 순환 신경망(RNN), LSTM, 트랜스포머와 같은 시퀀스 기반 ML 모델은 시계열 데이터의 시간적 의존성을 포착하고, 일반화 능력을 통해 새로운 보안 위협도 탐지할 수 있습니다. 이를 기반으로 두 가지 탐지 시스템을 제안합니다. 2장의 \textit{Panop}은 IoT 네트워크를 위한 분산형 침입 탐지 시스템으로, 디바이스 및 네트워크 행위 정보를 오토인코더로 학습하여 실시간 이상 탐지를 수행합니다. 3장의 \textit{Pfuzz}는 바이너리 코드 유사도 분석을 통해 알려진 취약점과 유사한 코드 영역을 식별하고, 퍼징을 유도하여 빠른 취약점 탐지를 수행하는 바이너리 레벨 퍼징 연구입니다. 이 두 시스템은 시퀀스 기반 ML 기법이 다양한 보안 위협을 효과적으로 탐지할 수 있음을 보여줍니다. 본 논문은 실행 전 분석과 런타임 모니터링을 포함하여 확장 가능하며 적응적인 ML 기반 보안 위협 탐지 시스템을 제안합니다.

목차 (Table of Contents)

• Abstract i
• Contents ii
• List of Tables v
• List of Figures vi
• 1 Introduction 1
• 1.1 Introduction 1
• 2 Panop: Traffic-Mimicry- Resistant Autoencoder - Based Distributed NIDS for IoT Networks 5
• 2.1 Introduction 5
• 2.2 Related Work 8
• 2.2.1 Machine Learning-based NIDS 8
• 2.2.2 Host-oriented Attacks 8
• 2.2.3 Deep Packet Inspection 9
• 2.3 Background 10
• 2.3.1 Feature Extractor 10
• 2.3.2 Feature Mapper 12
• 2.3.3 Anomaly Detector 13
• 2.4 Panop Design 13
• 2.4.1 Overview 13
• 2.4.2 Device Feature Extractor 14
• 2.4.3 Device Manager and Gateway Manager 15
• 2.4.4 Anomaly Detector 17
• 2.5 Evaluation 19
• 2.5.1 Implementation 19
• 2.5.2 Dataset Generation 21
• 2.5.3 Detection Accuracy 22
• 2.5.4 Runtime Performance 22
• 2.6 Conclusion 23
• 3 Pfuzz: Fast Binary-level Prioritized Fuzzing for Targeted Vulnerabilities 25
• 3.1 Introduction 25
• 3.2 Background and Related Work 28
• 3.2.1 Binary-Level Fuzzing 28
• 3.2.2 Directed Fuzzing 29
• 3.2.3 Prioritized Fuzzing 29
• 3.2.4 Binary Code Similarity Analysis 30
• 3.3 Pfuzz 30
• 3.3.1 Overview 31
• 3.3.2 Vulnerable Code Area Identifier (VCAI) 31
• 3.3.3 prioritized Fuzzing Module (PFM) 33
• 3.4 Implementation 35
• 3.5 Evaluation 36
• 3.5.1 Experimental Settings 37
• 3.5.2 Model Performance Comparison for Identifying Known Vulnerabilities 38
• 3.5.3 Performance on Triggering Known Vulnerabilities 40
• 3.5.4 Analysis of Triggered Known Vulnerabilities 43
• 3.5.5 Ablation Study: Single-targeted Fuzzing Performance Evaluation 45
• 3.5.6 Ablation Study: Multi-targeted Fuzzing Performance Evaluation 45
• 3.6 Discussion 46
• 3.6.1 Simultaneous Targeting of Multiple Code Areas 46
• 3.6.2 Expanding the Vulnerability Database 46
• 3.6.3 Incorporating Collaborative Fuzzing 47
• 3.7 Conclusion 47
• 4 Conclusion 48
• Abstract (In Korean) 60
• Acknowledgement 61