Research on Dynamic Vulnerability Detection for Operating System and Trusted Software = 운영체제 및 신뢰 소프트웨어에 대한 취약점 동적 탐지 연구

다국어 초록 (Multilingual Abstract)

System software serves as the core component of computing systems, responsible for managing and controlling system resources. When severe vulnerabilities exist in system software, an attacker can exploit them to maliciously control the entire system. To prevent this, anticipating and addressing bugs and vulnerabilities in system software through detection, patching, and correction is one of the core aspects of system security.
Fuzzing, a dynamic vulnerability searching technique, is widely used as an approach to find bugs in software. Fuzzing's effectiveness depends on its key components: the input generation strategy and bug detection capability. Dependencies exist where ineffective input generation limits the fuzzing code exploration coverage, and insufficient bug detection capability restricts the ability to determine bugs and provide analysis information in the explored code.
These dependency issues tend to become more pronounced when fuzzing is applied to system software. This is because system software, due to its importance and role, processes input across various layers and types, including device inputs, and is often required to operate in specialized environments such as mobile devices, embedded systems, or Trusted Execution Environments (TEEs). The diverse range of inputs complicates the input generation strategy, while specialized execution environments make bug detection challenging.
This paper addresses two representative case studies corresponding to these problems encountered during fuzzing and dynamic vulnerability detection in system software and proposes solutions for them.
The PCIconfuzz introduces an input generation strategy and testing framework for the PCIe configuration space input, one of the device inputs processed by system software. Through this research, we introduce a customized strategy for specialized inputs handled by system software and empirically demonstrate its effectiveness through experiments on code detection coverage and bug discovery likelihood.
The TAsanitizer proposes a method for validating and improving bug detection capability within the ARM TrustZone Secure World, a specialized execution environment for system software. Through this research, we demonstrate the difficulty of bug detection arising from unique execution environments, show the effectiveness of an environment-appropriate approach, and prove its necessity.
This dissertation shows the effectiveness of the proposed research and approaches in strengthening potential system security, and through these studies, suggest that input and environment considerations are necessary for effective bug and vulnerability detection targeting system software.

국문 초록 (Abstract)

시스템 소프트웨어는 컴퓨팅 시스템의 핵심 소프트웨어이며, 시스템 자원 관리 및 제어 역할을 한다. 시스템 소프트웨어에서 심각한 취약점이 존재하는 경우 공격자가 취약점을 이용하여 전체 시스템을 악의적으로 제어할 수 있다. 이를 방지하기 위하여 시스템 소프트웨어의 버그 및 취약점을 미리 탐지하고 이를 패치 및 수정을 통해 대비하는 것이 시스템 보안에서 핵심 사항 중 하나이다.
동적 취약점 탐색 기법인 퍼징은 소프트웨어에서의 버그를 찾기 위한 접근법으로 현재 널리 사용되고 있다. 퍼징의 효과는 퍼징의 핵심 요소인 입력 생성 전략과 버그 탐지 능력에 달려있으며, 각각 효과적이지 못한 입력 생성 시 퍼징의 코드 탐색 범위가 제한되고, 버그 탐지 능력이 충분하지 않을 시 탐색한 코드에서의 버그 판별 유무 및 분석 정보 제공 능력이 제한되는 등의 의존성이 존재한다.
한편, 시스템 소프트웨어에서 퍼징 적용 시 이러한 의존성 문제가 대두되는 경향이 있다. 시스템 소프트웨어는 그 중요성 및 역할로 인해 장치 입력 등을 포함한 다양한 계층과 종류에서의 입력을 처리하고, 모바일, 임베디드 시스템, 신뢰 실행 환경 등의 특수한 환경에서의 동작을 필요로 하기 때문이며, 다양한 종류의 입력은 입력 생성 전략을, 특수한 실행 환경은 버그 탐지를 까다롭게 한다.
본 논문에서는 이러한 시스템 소프트웨어 대상 퍼징 및 동적 취약점 탐지시의 두 문제점에 해당하는 사례를 소개하고, 이에 대한 해결법을 제시한다.
PCIconfuzz 연구는 시스템 소프트웨어가 처리하는 장치 입력 중 하나인 PCIe configuration space 입력에 대한 생성 전략 및 테스팅 프레임워크를 제시한다. 본 연구를 통해 시스템 소프트웨어가 처리하는 특수한 입력에 대한 맞춤형 전략을 소개하고 그에 대한 효과를 코드 탐지 범위 및 버그 탐지 가능 유무 실험을 통해 입증한다.
TAsanitizer 연구는 시스템 소프트웨어가 동작하는 특수 실행 환경인 ARM Trustzone Secure World에서의 버그 탐지 능력 검증 및 개선법을 제시한다. 본 연구를 통해 고유 실행 환경에 따른 버그 탐지의 어려움과 환경에 적합한 접근법이 효과가 있음을 보이고, 그 필요성을 입증한다.
제안한 연구와 접근법을 통해 잠재적 시스템 보안 강화에 효과가 있음을 보이며, 시스템 소프트웨어 대상으로 효과적인 버그 및 취약점 탐지를 위해 요구 입력 및 환경에 대한 고려가 필요함을 해당 연구를 통해 제시하는 바이다.

목차 (Table of Contents)

• Abstract 1
• List of Tables 6
• List of Figures 7
• 1. Introduction 8
• 2. Fuzzing: Dynamic Bug Detection Technique 14
• 2.1. Fuzzed Input Generation Strategies 15
• 2.2. Bug Detection 17
• 3. PCICONFUZZ: Finding Device Driver Bugs with Fuzzing PCIe Configuration Input 20
• 3.1. Introduction 20
• 3.2. Background 24
• 3.3. Threat Model 30
• 3.4. Design 32
• 3.5. Implementation 41
• 3.6. Evaluation 43
• 3.7. Discussion 57
• 3.8. Related Work 59
• 3.9. Conclusion 62
• 4. TAsanitizer: Address Sanitizer for Memory Corruption Detection in ARM TrustZone OP-TEE Environments 63
• 4.1. Introduction 63
• 4.2. Background 66
• 4.3. Evaluation of Memory Bug Detection Capabilities 71
• 4.4. ASAN Applicability in TAs 76
• 4.5. Design of TAsanitizer 82
• 4.6. Evaluation of TAsanitizer 87
• 4.7. Related Work 94
• 4.8. Conclusion 97
• 5. Conclusion 99
• Bibliography 100
• 국문초록 110