(A) DDIO-aware host network stack for high-performance data centers

다국어 초록 (Multilingual Abstract)

In modern host network stacks, Intel's Data Direct I/O (DDIO) technology plays a crucial role by allowing received packet data to be accessed directly from the last-level cache (LLC) instead of host memory, accelerating packet processing. However, DDIO performance is often constrained by the "leaky DMA" problem, where packet data is evicted from the LLC before processing completes due to the limited capacity of the DDIO-reserved portion.
This study revisits this issue and experimentally reveals that the primary contributor to LLC misses during DDIO is not capacity limitations alone, but rather 'cache set conflicts' arising from the host network stack's memory allocation patterns.
Motivated by this finding, we propose Tyche, a DDIO-aware network stack that leverages a deeper understanding of LLC behavior to avoid these set conflicts. Tyche is based on a Stride-1 conflict-free (CF) page allocation strategy and employs three key components—a Manager, an Allocator, and a Throttler—to efficiently manage packet data residency in the LLC.
Our Linux kernel prototype evaluation demonstrates that Tyche can saturate a 200Gbps link using two fewer CPU cores than the default Linux network stack, while maintaining low LLC miss rates (under 5%). Furthermore, Tyche improves total throughput per unit of core utilization by ~1.7× across various microbenchmarks and real-world applications like NVMe-over-TCP. This validates Tyche as a practical solution for maximizing CPU efficiency in modern high-speed network environments.

국문 초록 (Abstract)

현대 호스트 네트워크 스택에서 Intel DDIO(Data Direct I/O) 기술은 패킷 데이터를 호스트 메모리가 아닌 마지막 레벨 캐시(LLC)에서 직접 접근하게 함으로써 패킷 처리 속도를 높이는 핵심 역할을 한다. 그러나 DDIO의 성능은 한정된 캐시 용량으로 인해 패킷 처리가 완료되기 전에 데이터가 LLC에서 축출되는 'leaky DMA' 문제로 인해 제약을 받는다.
본 연구는 이 문제를 재조명하여, LLC 미스의 주된 원인이 단순한 DDIO의 용량 한계(capacity limitations)가 아니라, 호스트 네트워크 스택의 메모리 할당 패턴으로 인해 발생하는 '캐시 세트 충돌(conflict misses)'임을 실험적으로 규명한다.
이러한 발견에 기초하여, 본 논문은 LLC의 동작 방식을 심층적으로 활용하여 캐시 세트 충돌을 회피하는 DDIO 인지형 네트워크 스택 'Tyche'를 제안한다. Tyche는 Stride-1 충돌 회피(CF) 페이지 할당 기법을 기반으로, Tyche Manager, Allocator, Throttler라는 세 가지 핵심 구성 요소를 통해 DDIO로 유입되는 패킷 데이터가 LLC 내에 효율적으로 머무르도록 관리한다.
리눅스 커널 프로토타입을 구현하여 성능을 평가한 결과, Tyche는 기본 리눅스 스택 대비 2개 더 적은 CPU 코어를 사용하면서도 200Gbps 네트워크 링크를 포화시킬 수 있었으며, LLC 미스율은 5% 미만으로 낮게 유지했다. 또한, 다양한 마이크로벤치마크와 NVMe-over-TCP 등 실제 애플리케이션 환경에서 코어 활용 대비 총 처리량을 약 1.7배 향상시켰다. 이는 Tyche가 현대 고속 네트워크 환경에서 CPU 효율성을 극대화하는 실용적인 솔루션임을 입증한다.

목차 (Table of Contents)

• 1. Introduction 1
• 1.1 Research Background and Necessity 1
• 1.2 Problem Statement and Limitations of Prior Work 2
• 1.3 Research Objectives and Scope 3
• 1.4 Thesis Organization 4
• 2. Background 6
• 2.1 The Evolution of Host I/O Technologies 6
• 2.1.1 Programmed I/O (PIO) and the Advent of DMA 6
• 2.1.2 Data Direct I/O (DDIO): A Solution to the DRAM Bottleneck 7
• 2.2 Modern Server Architecture and the Last-Level Cache (LLC) 9
• 2.2.1 CPU Cache Hierarchy and NUMA 9
• 2.2.2 The Structure of the LLC: Slices, Sets, and Ways 10
• 2.3 An In-Depth Analysis of the Leaky DMA Problem 11
• 2.3.1 Capacity Misses vs. Conflict Misses 11
• 2.3.2 The Vicious Cycle of Eviction and Refetch 12
• 2.4 The Need for a Cache-Aware Approach 13
• 3. Tyche Design 15
• 3.1 Tyche Design Overview 15
• 3.2 Tyche Manager 16
• 3.3 Tyche Allocator 18
• 3.4 Tyche Throttler 19
• 3.5 Implementation Details 20
• 4. Evaluation 22
• 4.1 Evaluation Setup 22
• 4.1.1 Hardware and Software Environment 22
• 4.1.2 Applications and Metrics 23
• 4.2 Microbenchmark Evaluation 23
• 4.2.1 Static Core Configuration Evaluation 23
• 4.2.2 Dynamic Core Configuration Evaluation 24
• 4.3 Tyche Performance Breakdown 27
• 4.4 Real-world Application Performance Evaluation 28
• 4.4.1 NVMe-over-TCP 28
• 4.4.2 HTTP File Transfers 29
• 4.5 HTTP File Transfers 30
• 5. Related Works 32
• 5.1 Improving Cache Efficiency 32
• 5.2 Improving CPU Efficiency 33
• 5.3 Network Stack Scaling and Resource Scheduling 34
• 5.4 Summary and Tyche's Originality 35
• 6. Conclusion 36
• 6.1 Research Summary and Key Findings 36
• 6.2 Contributions 37
• 6.3 Limitations and Future Work 38
• References 40
• Korean Abstract 45