API 서열 분석을 통한 .NET 난독화 도구 자동 식별 = Automatic identification of .NET obfuscation tools through API sequence analysis

국문 초록 (Abstract)

IT 기술의 발전으로 소프트웨어가 늘고 있고 이를 보호하기 위해 난독화 기술을 사용하고 있지만, 난독화 기술이 악성 코드를 숨기는 데 사용되고 있다. 이와 함께 최근 .NET 사용량이 증가하고 난독화 기술을 적용한 악성 코드도 증가하고 있다. 이러한 .NET 난독화 기술이 적용된 프로그램은 de4dot을 통해 분석할 수 있지만 de4dot은 난독화 도구를 제대로 탐지하지 못하고 난독화 회피 기법에 취약한 문제가 있다. 이를 해결하기 위해 프로그램 특징인 API를 사용하여 서열 분석을 통해 프로그램의 유사도를 바탕으로 난독화 도구 자동 분류를 수행하였다. 제안 시스템의 성능을 확인하기 위해 5개의 프로그램에 7개의 난독화 도구를 적용하여 실험하였다. 실험 결과 de4dot에서는 42.8% 정확성을 보이고 제안 시스템에서는 de4dot보다 높은 78.5%의 정확성을 보였다. 또한, 난독화 회피 기법이 적용된 5개 프로그램을 모두 분류하였다.

목차 (Table of Contents)

• I 서론 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
• II 관련 연구 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
• 2.1 de4dot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
• 2.2 프로그램 특징 검출 . . . . . . . . . . . . . . . . . . . . . . . . . . 6
• 2.2.1 구문론적 특징 . . . . . . . . . . . . . . . . . . . . . . . . . 6
• 2.2.2 의미론적 특징 . . . . . . . . . . . . . . . . . . . . . . . . . 7
• 2.3 프로그램 특징 비교 알고리즘 . . . . . . . . . . . . . . . . . . . . . 8
• 2.4 특징 기반 분류 연구 . . . . . . . . . . . . . . . . . . . . . . . . . . 10
• III 난독화 기법과 도구 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
• 3.1 .NET 프레임워크 난독화 기법 . . . . . . . . . . . . . . . . . . . . 13
• 3.1.1 배치 난독화 . . . . . . . . . . . . . . . . . . . . . . . . . . 13
• 3.1.2 자료 난독화 . . . . . . . . . . . . . . . . . . . . . . . . . . 14
• 3.1.3 제어 흐름 난독화 . . . . . . . . . . . . . . . . . . . . . . . 15
• 3.1.4 방지 난독화 . . . . . . . . . . . . . . . . . . . . . . . . . . 16
• 3.1.5 가상화 난독화 . . . . . . . . . . . . . . . . . . . . . . . . . 17
• 3.2 .NET 프레임워크 난독화 도구 . . . . . . . . . . . . . . . . . . . . 18
• IV de4dot 분석 및 취약점 . . . . . . . . . . . . . . . . . . . . . . . . . . 20
• 4.1 de4dot 동작 분석 . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
• 4.1.1 de4dot 난독화 해제 . . . . . . . . . . . . . . . . . . . . . . 22
• 4.2 de4dot의 취약점 . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
• V 제안 시스템 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
• 5.1 설계 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
• 5.2 API 추출 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
• 5.2.1 Pin 툴 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
• 5.2.2 Detours . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
• 5.3 API 서열 생성 모듈 . . . . . . . . . . . . . . . . . . . . . . . . . . 36
• 5.4 비교 시그니처 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
• 5.5 유사도 검사 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
• VI 실험 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
• 6.1 Pin 툴과 Detours 비교 . . . . . . . . . . . . . . . . . . . . . . . . 42
• 6.2 난독화 도구 분류 . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
• 6.2.1 실험 대상 . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
• 6.2.2 실험 결과 . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
• 6.3 난독화 회피 기법 도구 분류 . . . . . . . . . . . . . . . . . . . . . 49
• 6.4 일반화 프로그램 실험 . . . . . . . . . . . . . . . . . . . . . . . . . 50
• 6.5 고찰 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
• 6.5.1 API 추출 도구 . . . . . . . . . . . . . . . . . . . . . . . . . 52
• 6.5.2 난독화 도구 분류 . . . . . . . . . . . . . . . . . . . . . . . 52
• 6.5.3 난독화 회피 기법 도구 분류 . . . . . . . . . . . . . . . . . 53
• VII결론 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55