Snort를 이용한 비정형 네트워크 공격패턴 탐지를 수행하는 Spark 기반 네트워크 로그 분석 시스템

국문 초록 (Abstract)

최근 네트워크 기술의 발달로 인해 다양한 분야에서 네트워크 기술이 사용되고 있다. 그러나 발전하는 네트워크 기술을 악용하여 공공기관, 기업 등을 대상으로 하는 공격 사례가 증가하였다. 한편 기존 네트워크 침입 탐지 시스템은 네트워크 로그의 양이 증가함에 따라 로그를 처리하는데 많은 시간이 소요된다. 따라서 본 논문에서는 Snort를 이용한 비정형 네트워크 공격패턴 탐지를 수행하는 Spark 기반의 네트워크 로그 분석 시스템을 제안한다. 제안하는 시스템은 대용량의 네트워크 로그 데이터에서 네트워크 공격 패턴탐지를 위해 필요한 요소를 추출하여 분석한다. 분석을 위해 Port Scanning, Host Scanning, DDoS, Worm 활동에 대해 네트워크 공격 패턴을 탐지하는 규칙을 제시하였으며, 이를 실제 로그 데이터에 적용하여 실제 공격 패턴 탐지를 잘 수행함을 보인다. 마지막으로 성능평가를 통해 제안하는 Spark 기반 로그 분석 시스템이 Hadoop 기반 시스템에 비해 로그 데이터 처리 성능이 2배 이상 우수함을 보인다.

다국어 초록 (Multilingual Abstract)

Recently, network technology has been used in various fields due to development of network technology. However, there has been an increase in the number of attacks targeting public institutions and companies by exploiting the evolving network technology. Meanwhile, the existing network intrusion detection system takes much time to process logs as the amount of network log increases. Therefore, in this paper, we propose a Spark-based network log analysis system that detects unstructured network attack pattern. by using Snort. The proposed system extracts and analyzes the elements required for network attack pattern detection from large amount of network log data. For the analysis, we propose a rule to detect network attack patterns for Port Scanning, Host Scanning, DDoS, and worm activity, and can detect real attack pattern well by applying it to real log data. Finally, we show from our performance evaluation that the proposed Spark-based log analysis system is more than two times better on log data processing performance than the Hadoop-based system.

목차 (Table of Contents)

• 요약
• Abstract
• Ⅰ. 서론
• Ⅱ. 연구 배경 및 관련 연구
• Ⅲ. Spark 기반 네트워크 로그 분석 시스템
• Ⅳ. 네트워크 공격패턴 분석 및 시각화
• Ⅴ. 성능평가
• Ⅵ. 결론
• 참고문헌

참고문헌 (Reference)

1 "https://www.snort.org/"

2 "https://www.r-project.org/"

3 "https://www.bro.org/"

4 "https://oisf.net/suricata/"

5 "https://hadoop.apache.org/"

6 "http://www.vacommunity.org/VASTChallenge 2012"

7 "http://www.hping.org/"

8 "http://spark.apache.org/"

9 Cook, Kristin, "VAST Challenge 2012:Visual analytics for big data" IEEE 2012

10 Matei Zaharia, "Spark: Cluster computing with working sets" 10 (10): 95-, 2010

11 Matei Zaharia, "Resilient distributed datasets: A fault-tolerant abstractVion for in-memory cluster computing" USENIX 2012

12 이동건, "RGB Palette를 이용한 보안 로그 시각화 및보안 위협 인식" 한국정보보호학회 25 (25): 61-73, 2015

13 최대수, "MapReduce를 이용한 대용량 보안 로그 분석" 한국정보기술학회 9 (9): 125-132, 2011

14 장진수, "MapReduce 환경에서네트워크 공격 탐지를 위한 실시간 로그 분석 시스템 개발" 2017

15 Khamphakdee, "Improving intrusion detection system based on snort rules for network probe attack detection" IEEE 2014

16 J. J. Cheon, "Distributed processing of snort alert log using hadoop" 5 (5): 2685-2690, 2013

17 P. G. Prathibha, "Design of a hybrid intrusion detection system using snort and hadoop" 73 (73): 2013

18 Anna Sperotto, "An overview of ip flow-based intrusion detection" 12 (12): 343-356, 2010

19 Jian Zhang, "A Hadoop Based Analysis and Detection Model for IP Spoofing Typed DDoS Attack" Trustcom, BigDataSE, ISPA, 2016IEEE. IEEE 2016