네트워크 보안 강화를 위한 AI기반 DDoS 탐지 시스템 연구 = AI-Based DDoS Detection System for Enhancing Network Security

국문 초록 (Abstract)

최근 분산 서비스 거부(Distributed Denial of Service, DDoS) 공격은 단순한 트래픽 과부하를 넘어, 애플리케이션 계층을 겨냥하거나 인공지능(AI)을 활용한 지능화된 방식으로 진화하고 있다. 이에 따라 NetFlow 기반 트래픽 샘플링, IDS/IPS의 정적 패턴 및 임계값 탐지, SIEM 로그 분석 등 기존 전통적 탐지 방식은 짧은 공격 주기, 분산된 트래픽, 다양한 우회 기법에 효과적으로 대응하지 못하는 한계를 지닌다.
또한, 기존 머신러닝 기반 탐지 연구는 대부분 공개 데이터셋에 의존하고 있어 실제 상용망에서 발생하는 초대형 트래픽, 수십억 건의 Flow, 복합 공격(N:1, N:N), 대규모 NAT 환경 등 현실적 조건에서의 성능과 실용성이 충분히 검증되지 않았다.
본 연구는 이러한 한계를 극복하기 위해 상용망 환경에서도 실시간 적용 가능한 AI 기반 DDoS 탐지 모델을 제안한다. DDoS 경고(Alert) 발생 시 자동으로 해당 시간대의 패킷(PCAP)을 수집하고, Flow 기반 및 패킷 통계 기반의 특성(feature)을 일관된 방식으로 전처리한 후, 다양한 탐지 모델을 비교·분석하였다.
실험 결과, 경량 머신러닝 모델인 LightGBM과 XGBoost는 높은 탐지 정확도와 빠른 예측 속도를 동시에 달성하여 실시간 환경에 적합함을 확인하였다. 특히 Zero-Day 공격 대응을 위해 비지도 학습 기반의 Deep AutoEncoder로 정상 트래픽을 학습하고, 재구성 오류(reconstruction error)를 활용해 이상 트래픽을 탐지한 후, 이를 LightGBM–XGBoost 앙상블 분류기에 입력하여 정밀 탐지를 수행하는 하이브리드 모델을 설계하였다.
제안한 모델은 실제 상용망 기반 실험을 통해 실시간 처리 성능을 입증하였으며, 공개 데이터셋 CICIoT2023을 활용한 평가에서도 Accuracy 0.9985~0.9990, F1-score 0.9977~0.9985, AUC 0.9999~1.0000의 우수한 성능을 기록하였다. 특히, Gheni et al.(2024)의 AutoEncoder 기반 모델 대비 Accuracy 1.14%p, Kumar et al.(2024)의 Random Forest 기반 모델 대비 F1-score 3.30%p 향상된 결과를 통해, 제안 모델의 Zero-Day 탐지 능력과 지도 학습 기반 분류 성능의 우수성을 입증하였다.
또한, 탐지된 공격 정보를 바탕으로 5-튜플(5-tuple) 기반의 자동 차단 룰을 실시간 생성하여 탐지–차단–대응이 통합된 보안 체계를 구현하였다. 결론적으로 본 연구는 실측 트래픽 기반의 정밀 특성 추출, 고성능 탐지, 자율적 대응을 결합한 AI 기반 DDoS 대응 프레임워크를 제안하며, 상용 환경에서의 높은 실용성과 적용 가능성을 실증하였다.

목차 (Table of Contents)

• 초록 i
• ABSTRACT iii
• 목차 vi
• 표 목차 ix
• 그림 목차 xi
• 1장. 서론 1
• 1.1 연구 배경 1
• 1.2 연구 목적 및 목표 5
• 1.3 본 연구의 기여점 7
• 2장. 기존 연구 및 기술적 한계 9
• 2.1 전통적인 DDoS 탐지 기법과 한계 10
• 2.1.1 NetFlow 기반 DDoS 탐지 기법과 한계 10
• 2.1.2 IDS 및 IPS 기반 DDoS 탐지 기법과 한계 12
• 2.1.3 SIEM의 DDoS 탐지 기법과 한계 16
• 2.2 인공지능 기반 DDoS 탐지 기법과 한계 18
• 2.2.1 머신러닝 기반 DDoS 탐지 기법과 한계 18
• 2.2.2 딥러닝 기반 DDoS 탐지 기법과 한계 21
• 2.3 기존 연구 한계 및 본 연구의 방향성 25
• 3장. 연구 방법 27
• 3.1 DDoS 탐지 연구 개요 및 방법 27
• 3.2 연구 데이터셋 30
• 3.2.1 공개 데이터셋(CICDoS2019, CICIoT2023) 30
• 3.2.2 상용망 데이터셋 35
• 3.3 데이터셋 전처리 43
• 3.3.1 데이터 정제 및 라벨 인코딩 43
• 3.3.2 데이터 정규화(Feature Scaling and Normalization) 44
• 3.3.3 데이터 불균형 처리(SMOTE 기반 데이터 증강) 44
• 3.4 DDoS 탐지 연구 모델 46
• 3.4.1 딥러닝 기반 DDoS 탐지 모델 46
• 3.4.2 머신러닝 기반 DDoS 탐지 모델 48
• 3.4.3 학습 데이터 구성 및 교차 검증 50
• 3.4.4 모델 최적화 기법 및 성능평가 50
• 3.4.5 DDoS 탐지 결과를 활용한 차단룰 생성 52
• 4장. 연구 결과 54
• 4.1 Flow 기반 DDoS 탐지 모델 성능 평가 57
• 4.1.1 공개 데이터셋(CICDDoS2019) Flow 기반 탐지 성능 평가(실험1) 57
• 4.1.2 상용망 데이터셋 Flow 기반 탐지 성능 평가(실험2) 58
• 4.1.3 데이터셋별 Flow 기반 탐지 성능 평가 비교(실험1,2) 60
• 4.2 패킷 통계 기반 DDoS 탐지 성능 평가 61
• 4.2.1 상용망 데이터셋 패킷 통계 기반 탐지 성능 평가(실험3) 61
• 4.2.2 공개 데이터셋(CICIoT2023) 패킷 통계 기반 탐지 성능평가(실험4) 63
• 4.2.3 데이터셋별 패킷 통계 기반 탐지 성능 평가 비교(실험3,4) 64
• 4.3 하이브리드 모델 탐지 성능평가 66
• 4.3.1 상용망 데이터셋 활용 하이브리드 모델 성능 평가(실험5) 67
• 4.3.2 공개 데이터셋(CICIoT2023) 활용 하이브리드 모델 성능 평가(실험6) 69
• 4.3.3 하이브리드 모델 성능 평가 비교 문헌 타당성 70
• 4.4 실시간 차단 룰 생성 실험 및 결과 분석 71
• 4.4.1 DDoS 차단 룰 자동 생성 메커니즘 설계 71
• 4.4.2 차단 룰 생성 시간 및 적용성 평가 72
• 4.5 머신러닝 모델 Feature Importance 종합 평가 73
• 4.5.1 머신러닝 모델별 Feature 사용 수 73
• 4.5.2 머신러닝 Feature Importance 종합 평가 74
• 4.5.3 Feature Importance 시사점 78
• 5장. AI 기반 DDoS 탐지 및 대응 시스템 79
• 5.1 AI 기반 DDoS 탐지 및 대응 시스템 설계 79
• 5.2 최적 데이터셋 및 Feature 선정 82
• 5.2.1 최적 데이터셋 선정 82
• 5.2.2 최적 Feature 선정 83
• 5.3 최적 모델 및 실시간 대응 메커니즘 84
• 5.3.1 DeepAE 기반 최적 탐지 모델 구성 84
• 5.3.2 자동 차단 룰 설계 및 구현 85
• 6장. 결론 86
• 6.1 연구 결과 요약 86
• 6.2 본 연구의 기여점 89
• 6.3 향후 연구 방향 90
• 참고문헌 92