Retrofitting operating system security for modern hardware protections

다국어 초록 (Multilingual Abstract)

Modern hardware increasingly offers powerful security mechanisms that promise enhanced security for existing software. At the same time, the long-standing OS protection model, built around coarse-grained process isolation, struggles to address the security and performance demands of modern software. Thus, recent research attempts to retrofit hardware-assisted security into the existing OS-enforced protection. Unfortunately, ad-hoc security retrofits lead to incoherent protection models, leaving gaps that attackers can exploit. This dissertation argues that effective system security requires coherent protection: hardware-assisted protection models must align systematically with those implemented by the OS and vice versa. Through the lens of coherent protection, the dissertation examines two emerging challenges: (1) hardware-assisted in-process isolation, and (2) side-channel mitigation in VM-level trusted execution environments. To address these challenges, it presents two systems, Capacity and IncognitOS, which retrofit OS security mechanisms to modern hardware features without sacrificing compatibility. Capacity demonstrates how intra-process isolation domains can be made coherent with legacy OS isolation. Toward this end, it introduces a cryptographically-authenticated capabilities abstraction, inspired by modern ARM hardware primitives such as Pointer Authentication and Memory Tagging. IncognitOS addresses the challenge of aligning OS-level behavior with hardware-enforced Confidential Virtual Machines (CVMs) for security. It redesigns OS capabilities — scheduling and memory management — to mitigate side-channel leakage in CVMs while preserving compatibility and performance. Together, these systems provide practical blueprints for reconciling modern hardware security primitives with long-standing OS protection models. They demonstrate that, through principled retrofitting, contemporary systems can leverage new hardware capabilities without sacrificing performance, compatibility, or security. The ideas presented in this dissertation contribute to the vision of secure computing infrastructures, where hardware and software collaborate seamlessly to defend against current and emerging threats.

국문 초록 (Abstract)

현대 하드웨어는 기존 소프트웨어에 대해 향상된 보안을 약속하는 강력한 보안 메커니 즘을 점점 더 많이 제공하고 있다. 동시에, 거친 단위의 프로세스 격리를 중심으로 구축된 오랜 OS 보호 모델은 현대 소프트웨어의 보안 및 성능 요구를 충족하는 데 어려움을 겪고 있다. 이에 따라 최근 연구들은 기존의 OS 강제 보호에 하드웨어 지원 보안을 덧붙이려는 시도를 하고 있다. 그러나 이러한 임시방편적인 보안 개조는 하드웨어와 소프트웨어에 의해 각각 강제되는 보호 모델 간의 불일치를 초래하며, 공격자가 악용할 수 있는 간극을 남긴다. 본 학위논문은 효과적인 시스템 보안을 위해서는 일관된 보호(coherent protection) 가 필요하다고 주장한다. 즉, 하드웨어 지원 보호 모델은 OS가 구현하는 보호 모델과 체 계적으로 정렬되어야 하며, 그 역도 마찬가지이다. 일관된 보호라는 관점에서, 본 논문은 두 가지 새로운 도전 과제를 살펴본다: (1) 하드웨어 지원 프로세스 내부 격리, 그리고 (2) VM 수준의 신뢰 실행 환경에서의 사이드 채널 완화. 이러한 과제를 해결하기 위해, 본 논문은 호환성을 희생하지 않으면서 최신 하드웨어 기능에 맞게 OS 보안 메커니즘을 개조한 두 가지 시스템, Capacity 와 IncognitOS 를 제시한다. Capacity 는 프로세스 내부 격리 도메인을 기존 OS 격리와 일관되게 만드는 방법을 보여준다. 이를 위해, 포인터 인증(Pointer Authentication)과 메모리 태깅(Memory Tagging)과 같은 최신 ARM 하드웨어 프리미티브에서 영감을 받은 암호학적으로 인증된 기능(capabilities) 추상화를 도입한다. IncognitOS 는 보안을 위해 하드웨어에 의해 강제되는 기밀 가상 머신(Confidential Virtual Machines, CVMs)과 OS 수준 동작을 정렬하는 문제를 다룬다. 이는 호환성과 성능을 유지하면서 CVM에서의 사이드 채널 누출을 완화하기 위해 OS의 기능 — 스케 줄링 및 메모리 관리 — 를 재설계한다. 이들 시스템은 함께 현대 하드웨어 보안 프리미티브와 오랜 OS 보호 모델을 조화 시키기 위한 실질적인 청사진을 제공한다. 이들은 원칙에 기반한 개조를 통해, 현대 시스템이 성능, 호환성, 또는 보안을 희생하지 않고도 새로운 하드웨어 기능을 활용할 수 있음을 보여준다. 본 학위논문에서 제시된 아이디어들은 하드웨어와 소프트웨어가 긴밀하게 협력하여 현재 및 미래의 위협으로부터 방어하는 안전한 컴퓨팅 인프라라는 비전에 기여한다.

목차 (Table of Contents)

• Chapter 1 Introduction 1
• 1.1 Motivation 3
• 1.1.1 Limitations of existing OS protection 3
• 1.1.2 Rise of hardware-assisted protection 5
• 1.2 Approach 8
• 1.2.1 Retrofitting for security 8
• 1.2.2 Coherent software/hardware protection 9
• 1.3 Contributions & Publications 11
• 1.3.1 Main Contributions 11
• 1.3.2 Orthogonal Contributions 12
• 1.3.3 Publications 13
• 1.4 Outline 15
• Chapter 2 Background 16
• 2.1 OS Protection 18
• 2.1.1 Access control 18
• 2.1.2 OS Abstractions and Protection 19
• 2.1.3 Legacy hardware protection 21
• 2.2 Hardware-assisted In-process Isolation 25
• 2.2.1 Motivation: needs for fine-grained isolation 25
• 2.2.2 Limitations of existing isolation primitives 27
• 2.2.3 Modern hardware support for isolation 29
• 2.3 TEEs and Confidential Virtual Machines 32
• 2.3.1 Motivation: re-establishing trust in the cloud 32
• 2.3.2 Trusted Execution Environments 33
• 2.3.3 Modern hardware support for CVMs 36
• 2.4 Side-channel Attacks 38
• Chapter 3 CAPACITY: Cryptographically-Enforced In-Process Capabilities for Modern ARM Architectures 41
• 3.1 Toward Coherent In-process Isolation 43
• 3.1.1 Kernel as a confused deputy 43
• 3.1.2 Capacity: coherent in-process isolation 45
• 3.2 Abstract 46
• 3.3 Introduction 48
• 3.4 Background 55
• 3.4.1 Pointer Authentication (PA) 55
• 3.4.2 Memory Tagging Extension (MTE) 56
• 3.5 Overview 57
• 3.5.1 Threat model 58
• 3.5.2 Security requirements 59
• 3.5.3 Subjects and Objects 60
• 3.5.4 Programming model overview 64
• 3.6 Domain Switching and Authentication 67
• 3.7 File System Object Isolation 72
• 3.7.1 Enforcing domain-private file-system paths 73
• 3.7.2 Enforcing domain-private file descriptors 74
• 3.8 Domain memory isolation 77
• 3.8.1 Domain-private memory tagging 79
• 3.8.2 Domain-aware pointer authentication 81
• 3.8.3 Handling compatibility issues 83
• 3.9 Evaluation 87
• 3.9.1 Microbenchmarks 88
• 3.9.2 Adapting Capacity to real-world programs 90
• 3.9.3 Application performance benchmark 94
• 3.10 Security analysis & discussion 98
• 3.11 Related work 102
• 3.12 Conclusion 109
• Chapter 4 INCOGNITOS: A Practical Unikernel Design for Full-System Obfuscation in Confidential Virtual Machines 110
• 4.1 Toward coherent OS-assisted CVM protection 112
• 4.1.1 Challenges of CVM Deployment Model 112
• 4.1.2 IncognitOS: coherent OS-assisted CVM protection 114
• 4.2 Abstract 115
• 4.3 Introduction 117
• 4.4 Background and Related work 123
• 4.4.1 AMD SEV 123
• 4.4.2 Side-channel threats in CVMs 124
• 4.4.3 Previous mitigation approaches 126
• 4.4.4 Threat model 128
• 4.5 IncognitOS Overview 129
• 4.5.1 Kernel subsystems 129
• 4.5.2 System requirements 130
• 4.5.3 Embracing unikernel design 132
• 4.5.4 Adaptive defense strategy 133
• 4.6 Scheduling for Rate-Adaptive Policy 138
• 4.6.1 Data acquisition at ticks 138
• 4.6.2 Tick placement strategy 140
• 4.6.3 Tick and trampoline implementation 141
• 4.6.4 Rate-adaptive rerandomization policy 143
• 4.7 OS-level Page Access Obfuscation 147
• 4.7.1 System memory layout 148
• 4.7.2 Page management and randomization 150
• 4.8 Evaluation 155
• 4.8.1 Robustness evaluation 157
• 4.8.2 Access pattern profiling resilience 159
• 4.8.3 Thwarting JPEG image extraction attack 161
• 4.8.4 nbench microbenchmark 163
• 4.8.5 Real-world application performance 165
• 4.9 Discussion 170
• 4.9.1 Security discussion 170
• 4.9.2 Future work 174
• 4.10 Additional Related work 176
• 4.10.1 Side-channel attacks on SEV-SNP 176
• 4.10.2 Approaches for side-channel mitigation 177
• 4.11 Conclusion 179
• Chapter 5 Lessons Learned and Conclusion 180
• 5.1 Lessons Learned 180
• 5.2 Conclusion 184
• References 185
• 논문요약 232