폐쇄망 환경을 위한 소형 언어모델 기반 불안정 로그 이상탐지 접근법 비교 연구

국문 초록 (Abstract)

시스템의 신뢰성을 유지하기 위해 로그 기반 이상탐지 기술이 많은 활용이 되고 있으나 소프트웨어의 지속적인 진화로 인해 로그 구조가 불안정해지면서 이미 학습된 이상탐지 모델의 성능 저하 문제가 발생한다.
대규모 언어모델(LLM)은 이런 불안정한 로그의 의미적 패턴을 포착하는 데 우수한 성능을 보여주었으나 많은 연산 자원을 요구하고 실질적인 보안 제약 사항으로 폐쇄망(closed-network) 환경에서는 적용이 어려운 현실이다.
이런 한계를 해결하기 위해 이번 연구에서는 폐쇄망 환경에서 소형 언어모델(sLLM)을 이용해 여러 가지 로그 기반 이상탐지 방안을 제안하고 확인‧검증하였다. 이를 위해 세 가지 시나리오로 비교·평가하였으며 그 방법은 다음과 같다. (1) 실제 소프트웨어 진화 환경 대응력 평가, (2) 불안정 로그 유형 및 변형률에 따른 강건성 비교, (3) Few-shot 프롬프트를 통한 적응성 검증.
실험 결과 sLLM을 활용한 불안정 로그 이상탐지는 제약이 있는 폐쇄망 환경에서도 높은 정확도와 강건성을 보여주고 있음을 확인하였고 이는 보안성과 자원 활용에 대한 제약문제를 해결할 수 있음을 보여주었다.

목차 (Table of Contents)

• 제 1 장 서 론 1
• 1.1 연구배경 및 필요성 1
• 1.2 연구목적 및 범위 3
• 제 2 장 관련연구 및 이론적 배경 6
• 2.1 로그 파싱 기법(Drain) 6
• 2.2 불안정 로그(Unstable Log) 8
• 2.3 기계학습 및 대규모 언어모델(LLM) 9
• 2.3.1 기계학습 9
• 2.3.2 대규모 언어모델(LLM) 10
• 2.4 로그 이상탐지 기법 비교 11
• 2.4.1 전통적 접근(PCA, SVM, CNN 등) 12
• 2.4.2 딥러닝 기반 접근 (Logrobust, NeuralLog 등) 12
• 2.4.3 GPT 기반 로그 이상탐지 연구 14
• 2.5 LLM의 파인튜닝 기법 15
• 2.5.1 시퀀스 분류 모델 16
• 2.5.2 생성언어모델 16
• 제 3 장 연구 방법론 18
• 3.1 연구개요 및 프레임워크 구조 18
• 3.1.1 로그 전처리 19
• 3.1.2 sLLM 파인튜닝 19
• 3.1.3 모델 평가 20
• 3.2 데이터셋 구성 및 전처리 21
• 3.2.1 데이터셋 21
• 3.2.2 데이터셋 전처리 23
• 3.3 불안정 로그 합성 방법 30
• 3.4 시퀀스 분류 기반 접근 33
• 3.5 생성언어모델 기반 접근 33
• 3.5.1 PPL(Perplexity) 비교 기반 접근법 34
• 3.5.2 Role 기반 접근법(System/User/Assistant) 35
• 3.5.3 Few-shot 프롬프트 확장 접근법 38
• 3.6 실험 시나리오 및 비교 설계 39
• 제 4 장 실험 및 결과 분석 42
• 4.1 실험환경 및 구현 42
• 4.1.1 하드웨어 및 소프트웨어 인프라 구성 42
• 4.1.2 백본 모델 선정 및 아키텍처 43
• 4.1.3 학습 파라미터 및 최적화 전략 45
• 4.2 평가지표 45
• 4.3 실험 결과 46
• 4.3.1 시나리오1 (소프트웨어 진화 대응력 분석) 46
• 4.3.2 시나리오2 (불안정 로그 유형 및 비율에 따른 강건성 분석) 48
• 4.3.3 시나리오3 (Few-shot 프롬프트의 적응성 분석) 65
• 4.4 결과 종합 70
• 4.4.1 ADUL 대응의 안정성 및 강건성 측면 70
• 4.4.2 모델 규모 대비 성능 효율성 72
• 4.4.3 Few-shot 프롬프트 확장 방식의 실효성 72
• 제 5 장 결론 및 향후 연구 73
• 5.1 연구 요약 및 핵심 성과 73
• 5.2 연구의 한계점 74
• 5.3 향후 연구 방향 74
• [참고 문헌] 76