악성코드 탐지를 위한 이미지 기반의 End-to-End 딥러닝에 관한 연구 = A Study of Image-based End-to-End Deep Learning for Malware Detection

국문 초록 (Abstract)

4차 산업혁명 시대와 언택트(Untact)라는 새로운 사회 변화와 함께 디지털 혁신이 빠르게 이루어지고 있으며, 사람들은 이전보다 편리하고 윤택한 삶을 누릴 수 있게 되었다. 하지만, 이에 따른 부작용 역시 급증하고 있다. 개인 정보의 유출로 인한 사생활 침해 문제를 넘어서, 기업 및 국가의 기밀 정보의 유출, 정보통신기반시설의 마비 공격 등 사회 전반적으로 사이버 공격으로 인한 피해가 심각한 수준이다.

사이버 공격 중 악성코드를 이용한 공격은 높은 비중을 차지하고 있다. 이러한 악성코드를 탐지를 목적으로 하는 기존 보안 솔루션들은 악성코드가 갖는 고유한 특징 패턴인 시그니처(Signature)를 추출하여 탐지에 활용하고 있다. 하지만, 악성코드 제작 도구의 등장으로 신종/변종 악성코드의 수가 급격히 증가하고 있으며, 기존 탐지 방법을 회피할 수 있는 지능형 악성코드들이 지속해서 개발되고 있다. 이러한 상황에서 발견된 악성코드를 분석하여 대응하는 기존 방법은 악성코드의 진화 및 생성 속도를 대처하는 것에 한계가 있다. 이에 따라 대량의 악성코드를 효율적으로 식별하기 위한 새로운 연구가 필요하다.

딥러닝(Deep Learning)으로 컴퓨터가 데이터를 분석하고 패턴을 찾아 스스로 학습이 가능하게 되었으며, 끊임없이 발전하여 이제는 인간의 처리 능력을 넘어서는 결과물들이 발표되고 있다. 2015년에 발표된 ResNet은 이미지 처리 문제에서 효과적인 성능을 보이는 모델로, 사람의 인식 능력보다 높은 성능을 보였으며, 2020년에 발표된 GPT-3는 번역, 작문 등 자연어 처리 문제에서 높은 성능과 활용도를 보이며 두각을 나타내고 있다.
본 논문에서는 딥러닝을 이용하여 악성코드를 탐지하는 기법을 연구하였다. 딥러닝 모델 중 이미지 처리 문제에서 우수한 성능을 보였던 합성곱 신경망 기반의 모델(CNN, Convolution Neural Network)을 구현하여 악성코드를 탐지하였으며, 기존 연구보다 성능을 높이기 위해 악성코드를 이미지로 변환하는 과정에서 Black and White 임베딩 기법을 제안하였다. 실험에 활용한 데이터는 한국인터넷진흥원(KISA)에서 개최한 악성코드 탐지 대회의 데이터 셋을 이용하였다. 실험을 통해 제안한 악성코드 탐지모델이 악성코드를 효과적으로 탐지하고 기존 연구보다 높은 정확도를 얻을 수 있음을 확인할 수 있었다.

다국어 초록 (Multilingual Abstract)

Digital innovation is rapidly taking place in the era of the Fourth Industrial Revolution and new social changes called Untact, and people can enjoy a more convenient and better life than before. However, the resulting side effects are also increasing rapidly increasing. Beyond privacy violations caused by the leakage of personal information the overall damage caused by cyber-attacks is serious in society, including leaks of confidential information from companies and countries and paralysis of information and communication infrastructure.

Malware-based attacks account for a high percentage of cyber-attacks. Existing security solutions for detecting malicious code extract signature, a unique characteristic pattern of malicious code, and utilize it for detection. However, the number of new or variant malware is rapidly increasing due to the emergence of malicious code production tools, and intelligent malware that can evade existing detection methods is continuously being developed. Existing methods of analyzing and responding to malicious codes found in these situations have shown clear limitations in dealing with the evolution and generation rate of malicious codes. As a result, new research is needed to efficiently identify large amounts of malicious code.

Deep Learning refers to the technology in which computers analyze data, find patterns, and learn by themselves and results that have been constantly developed beyond human processing capabilities are now being announced. ResNet, announced in 2015, is an effective performance dmodel for image processing problems, showing higher performance than human perception, while GPT-3 released in 2020 stands out with high performance and utilization in natural language processing problems such as translation and writing.
In this paper, we study a technique to detect malicious code using deep learning. We implemented convolutional neural network-based models (CNN) that performed well in image processing problems among deep learning models to detect malicious codes and propose black and white embedding techniques in the process of converting malicious codes to images to improve performance over existing studies. The data used in the experiment was used as data sets for malicious code detection competitions held by the Korea Internet & Security Agency (KISA). Through experiments, it was confirmed that the proposed malicious code detection model can effectively detect malicious codes and obtain higher accuracy than existing studies.

목차 (Table of Contents)

• 목 차
• 그림목차 ⅱ
• 표목차 ⅳ
• 국문초록 ⅴ
• 제 1 장 서 론 1
• 1. 연구배경 및 목적 1
• 제 2 장 관련 기반 지식 4
• 1. 악성코드의 정의 4
• 2. 기존 악성코드 탐지 기법 5
• 3. 합성곱 신경망(CNN, Convolutional Neural Network) 12
• 제 3 장 관련 연구 26
• 1. Say No to Overfitting 26
• 2. Machine Learning Method for Malware Detection 30
• 3. MalConv 34
• 4. Malware Images 시각화 36
• 제 4 장 이미지 기반의 악성코드 탐지 연구 37
• 1. Black and White 임베딩을 이용한 바이너리 전처리 38
• 2. 악성코드 탐지를 위한 이미지 기반 End-to-End 딥러닝 모델 43
• 제 5 장 결 론 47
• 참 고 문 헌 48
• Abstract 50