Bi-LSTM 하이퍼파라미터 최적화를 위한 PSO 적용 연구 = A Study on Applying PSO for Bi-LSTM Hyperparameter Optimization

국문 초록 (Abstract)

본 논문은 침입 탐지 시스템(Intrusion Detection System, IDS)의 탐지 성능 향상을 목적으로, 양방향 장단기 메모리(Bidirectional Long Short-Term Memory, Bi-LSTM) 신경망의 하이퍼파라미터를 입자 군집 최적화(Particle Swarm Optimization, PSO) 알고리즘을 통해 자동 조정하는 기법을 제안한다. 기존 IDS는 고정된 규칙 기반의 탐지 방식에 의존하거나 하이퍼파라미터 설정을 수작업에 의존함에 따라, 다양한 공격 유형에 대한 적응성과 탐지 정확도에서 한계를 보이는 경우가 많다.

본 연구에서는 Bi-LSTM 기반의 딥러닝 모델을 기반으로 하되, 데이터 불균형 문제를 완화하기 위해 오버샘플링 기법을 적용하였으며, 분류기 단계에서는 eXtreme Gradient Boosting(XGBoost)을 활용하고 소프트 보팅 방식을 통해 앙상블 모델을 구성하였다. 특히, PSO를 활용하여 Bi-LSTM의 핵심 하이퍼파라미터를 자동으로 최적화함으로써, 수작업 기반 탐색 방식보다 효율적인 성능 개선을 도모하였다.

제안된 모델은 UNSW-NB15 데이터셋을 기반으로 실험 및 평가를 수행하였으며, 정확도, 정밀도, 재현율, F1-score 등 주요 성능 지표에서 PSO 적용 전 대비 유의미한 향상을 확인하였다. 또한, 데이터셋 내 상대적으로 적은 비율을 차지하는 소수 클래스 공격 유형에 대해서도 향상된 탐지 성능을 보였다. 이는 PSO 기반 하이퍼파라미터 최적화가 IDS 성능 고도화에 효과적인 접근임을 시사한다.

다국어 초록 (Multilingual Abstract)

A Study on Applying PSO for Bi-LSTM Hyperparameter Optimization Kim, Woo-seong Department of Convergence Information Technology Graduate School of Information and Communications, Konkuk University This paper proposes an approach to optimize the hyperparameters of a Bidirectional Long Short-Term Memory (Bi-LSTM) neural network using Particle Swarm Optimization (PSO) to enhance the performance of Intrusion Detection Systems (IDS). Conventional IDS models often depend on static rule-based detection mechanisms or manually tuned hyperparameters, resulting in limited adaptability and suboptimal accuracy when addressing diverse types of cyberattacks. In this study, a Bi-LSTM-based deep learning model is employed, with an oversampling technique applied to alleviate data imbalance issues. For the classification stage, an ensemble model is constructed using eXtreme Gradient Boosting (XGBoost) with a soft voting strategy. Notably, PSO is utilized to automatically optimize key hyperparameters of the Bi-LSTM model, leading to improved performance compared to manual tuning methods. The proposed model is evaluated using the UNSW-NB15 dataset, demonstrating significant improvements in key performance metrics such as accuracy, precision, recall, and F1-score. Furthermore, the model shows enhanced detection capabilities for minority class attack types within the dataset. These results indicate that PSO-based hyperparameter optimization is an effective strategy for improving IDS performance. Keywords: IDS, Bi-LSTM, PSO, XGBoost, Hyperparameter Optimization, Minority Class Detection

목차 (Table of Contents)

• 제1장 서론 1
• 제1절 연구 배경 및 목적 1
• 제2절 연구 범위 및 기대 효과 3
• 제2장 이론적 배경 및 핵심 기법 4
• 제1절 침입 탐지 시스템 4
• 제2절 딥러닝 및 머신러닝 기법 6
• 제3절 PSO 알고리즘 및 하이퍼파라미터 최적화 10
• 제4절 관련 데이터셋 13
• 제3장 PSO 최적화 Bi-LSTM 기반 앙상블 모델 설계 15
• 제1절 데이터 전처리 및 오버샘플링 17
• 제2절 Bi-LSTM 모델 설계 및 PSO 기반 하이퍼파라미터 최적화 19
• 제3절 XGBoost 모델 설계 27
• 제4절 소프트 보팅 기반 앙상블 모델 구현 28
• 제4장 실험 및 결과 분석 30
• 제1절 성능 평가 지표 30
• 제2절 선행 연구 기반 모델 및 성능 요약 35
• 제3절 UNSW-NB15 데이터셋 실험 결과 37
• 제4절 PSO 적용 전/후 비교 분석 42
• 제5절 소수 클래스 탐지 성능 평가 45
• 제5장 결론 및 향후 연구 49
• 참고문헌 51
• ABSTRACT 54