STORM: Opcode 난독화에 강건한 그래프 신경망 기반 악성코드 대응 기술 = STORM: A Spatio-Temporal Graph Modeling Approach for Obfuscation-Resilient Malware Detection

국문 초록 (Abstract)

사이버 공격 환경에서 악성코드는 정보 탈취, 시스템 마비, 원격 제어 등 다양한 악의적 행위에 활용되며 지속적인 위협 요소로 작용하고 있다. 특히 최근의 악성코드는 의미 없는 명령어 삽입, 명령어 실행 순서 변경, 코드 압축 및 은닉과 같은 난독화 기법을 통해 코드 표현을 지속적으로 변형하면서 탐지를 우회하는 경향이 증가하고 있다. 이러한 난독화는 opcode 시퀀스의 순서와 opcode 간 구조적 관계를 변화시켜 기존 탐지 모델이 학습한 특징 표현을 불안정하게 만든다. 특히 시간 기반 모델은 opcode 순서 변화에 민감하고, 정적 그래프 기반 모델은 구조적 관계를 반영할 수 있으나 시간 흐름에 따른 구조 변화까지 충분히 고려하지 못한다. 따라서 난독화 환경에서도 안정적인 탐지를 수행하기 위해서는 opcode의 시간적 흐름과 구조적 관계를 함께 반영하는 시공간 기반 특징 표현이 필요하다. 본 논문에서는 opcode 시퀀스를 기반으로 시간 정보와 구조 정보를 동시에 반영하는 시공간 기반 악성코드 탐지 구조 STORM（Spatio-Temporal Obfuscation-Resilient Malware Detection Model）을 제안한다. STORM은 opcode 전이 관계를 그래프로 표현하고, 이를 시간 흐름에 따른 graph sequence로 확장하여 시점별 구조 변화와 시간적 의존성을 함께 학습한다. 또한 시간 기반 특징과 graph 기반 구조 특징을 결합하는 Hybrid 기반 구조와, 그래프 시퀀스 자체를 직접 학습하는 TGNN 기반 구조를 함께 구성한다. 성능 평가를 위해 BIG2015 데이터셋과 난독화 변형이 적용된 BIG-OBF 데이터셋을 구성하고, 시간 기반 모델, 공간 기반 모델, Hybrid 기반 시공간 모델, TGNN 기반 시공간 모델 간 비교 실험을 수행하였다. BIG-OBF 기반 다중 클래스 분류 실험에서는 GRU+GAT 기반 Hybrid 구조가 난독화 클래스 정확도 97.5610%, ORS 94.9763을 기록하며 가장 높은 강건성을 보였고, TGNN 기반 구조도 난독화 클래스 정확도 95.1220%, ORS 92.9465를 기록하여 graph sequence 학습의 유효성을 확인하였다. 또한 BIG-OBF 기반 난독화 식별 이진 분류 실험에서는 Dummy, Reorder, Packing 기반 데이터 증강을 적용하였으며, GRU+GraphSAGE 기반 Hybrid 구조가 난독화 클래스 정확도 97.9680%, ORS 97.8075로 가장 높은 난독화 탐지 강건성을 나타냈다. 이러한 결과는 시간 정보와 graph 구조 정보를 함께 활용하는 시공간 기반 STORM이 난독화 환경에서 안정적인 특징 표현과 탐지 성능을 형성하는 데 효과적임을 보여준다.

다국어 초록 (Multilingual Abstract)

Cyber attacks increasingly leverage malware to perform malicious activities such as information theft, system disruption, and remote control, making malware a persistent security threat in modern computing environments. Recent malware often evades detection by transforming its code representation through obfuscation techniques, including meaningless instruction insertion, instruction reordering, code packing, and concealment. Such obfuscation changes both the order of opcode sequences and the structural relationships among opcodes, thereby destabilizing feature representations learned by existing malware detection models. Temporal-based models are sensitive to opcode order variations, while static graph-based models can represent structural relationships but often fail to capture structural changes over temporal execution flows. Therefore, robust malware detection under obfuscated environments requires a spatio-temporal feature representation that jointly reflects opcode execution flows and structural relationships.
To address this issue, this thesis proposes STORM （Spatio-Temporal Obfuscation-Resilient Malware Detection Model）, a spatio-temporal malware detection framework that simultaneously incorporates temporal and structural information from opcode sequences. STORM constructs opcode graphs based on opcode transition relationships and extends them into temporally ordered graph sequences to learn both structural evolution and temporal dependencies. In addition, STORM includes a Hybrid-based structure that combines temporal features and graph-based structural features, as well as a TGNN-based structure that directly learns temporally evolving graph sequences.
For performance evaluation, experiments were conducted using the Microsoft Malware Classification Challenge 2015 （BIG2015） dataset and the BIG-OBF dataset containing additional obfuscation transformations. The experimental results on the BIG2015 multi-class classification task showed that temporal-based and spatial-based models formed different feature representation characteristics, indicating the limitations of relying on a single representation approach for stable classification of obfuscated malware classes. In the BIG-OBF multi-class classification experiments, the GRU+GAT-based Hybrid structure achieved the highest robustness, recording an Obfuscator Accuracy of 97.5610% and an ORS of 94.9763. The TGNN-based structure also achieved an Obfuscator Accuracy of 95.1220% and an ORS of 92.9465, confirming the effectiveness of learning temporally evolving graph sequences.
In the BIG-OBF binary obfuscation detection experiments, obfuscation-based data augmentation using Dummy, Reorder, and Packing transformations was applied to alleviate the class imbalance problem caused by the limited number of Obfuscator.ACY samples. Under this augmented binary classification setting, the GRU+GraphSAGE-based Hybrid structure achieved the highest obfuscation detection robustness, recording an Obfuscator Accuracy of 97.9680% and an ORS of 97.8075. These results demonstrate that the proposed spatio-temporal STORM framework, which jointly incorporates opcode temporal information and graph-based structural information, is effective in maintaining stable feature representations and detection performance under obfuscated malware environments.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1. 연구 배경 및 필요성 1
• 2. 연구 목적 및 방법 3
• Ⅱ. 관련 연구 5
• 1. 악성코드 탐지 연구 5
• 2. 난독화 악성코드 탐지 연구 7
• Ⅲ. 이론적 배경 10
• 1. opcode 기반 악성코드 탐지 기술 10
• 2. 그래프 기반 악성코드 탐지 기술 12
• Ⅳ. BIG-OBF : 난독화 악성코드 데이터셋 구축 16
• Ⅴ. STORM: 시공간 기반 악성코드 그래프 모델링 20
• 1. 공간 모델 : 그래프 신경망 기반 악성코드 그래프 모델링 20
• 2. 시공간 모델 : 시계열 그래프 신경망 기반 악성코드 그래프 모델링 23
• 1) 하이브리드 딥러닝 기반 시공간 악성코드 그래프 모델링 23
• 2) TGNN 기반 시공간 악성코드 그래프 모델링 25
• Ⅵ. 실험 및 성능 평가 31
• 1. STORM 시공간 구조 유효성 검증 31
• 1) BIG2015 기반 악성코드 분류 성능 분석 31
• 2) BIG-OBF 기반 악성코드 분류 성능 분석 37
• 2. STORM 난독화 악성코드 탐지 강건성 검증 42
• Ⅶ. 결론 49
• 참고문헌 51
• 영문초록 54