Enhancing Performance and Resource Utilization in Heterogeneous Clusters with Resource Contention-Aware Scheduling = 이기종 클러스터의 성능 및 자원 활용도 향상을 위한 자원 경합 인지 스케줄링

국문 초록 (Abstract)

최근 클라우드 데이터센터와 클러스터 컴퓨팅 시스템은 멀티코어 CPU, GPU, JBOF(Just-a-Bunch-of-Flash) 기반 분리형 스토리지 등 다양한 이기종 자원을 하나의 인프라로 통합해 운용한다. 이러한 환경에서는 지연 민감(Latency-Critical, LC) 온라인 서비스와 최선 노력(Best-Effort, BE) 배치 작업이 동일한 물리 자원을 공유하며 실행되고, 워크로드는 연산 집약(Compute-Intensive, CI) 및 메모리 집약(Memory-Intensive, MI) 특성을 동시에 가진다. 그 결과 CPU 코어, 마지막 단계 캐시(LLC), 메모리 대역폭, 스토리지, 가속기 등 여러 계층에서 자원 경합(resource contention)과 성능 포화(performance saturation)가 발생하며, 이는 LC 서비스의 tail latency를 악화시키는 동시에 BE 작업에 불필요한 자원이 과도하게 할당되는 비효율을 초래한다.
본 논문은 이러한 문제를 해결하기 위해, 자원 경합과 성능 포화를 명시적으로 인지하는 스케줄링 원리를 제시하고, 이기종 시스템의 자원 활용도와 성능을 향상시키는 것을 목표로 한다. 이를 위해 공통 워크로드/메트릭 프레임워크를 도입하여 애플리케이션을 LC/BE 및 CI/MI 두 축으로 분류하고, IPC, LLC 미스 특성, 메모리 대역폭 사용량, GPU 활용도 등의 마이크로아키텍처 및 런타임 지표로 워크로드를 특성화하였다. 이 공통 프레임워크 위에서 (1) 단일 멀티코어 서버, (2) JBOF 스위치를 사용하는 랙스케일 분리형 스토리지 환경, (3) CPU–GPU 이기종 클러스터를 대상으로 세 가지 시스템 레벨 최적화 기법을 설계·평가하고, 추가로 이들을 결합한 통합(end-to-end) 평가를 통해 전체 효과를 검증하였다.
첫째, 단일 멀티코어 서버에서는 마르코프 체인을 변형한 가중치 기반 상태 모델을 이용해 LC/BE 작업 쌍을 오프라인으로 프로파일링하고, 코어 수·LLC·메모리 대역폭의 소수 자원 조합을 평가한다. 이를 통해 LC QoS를 만족하는 최소 자원 조합과 BE 작업 IPC가 포화되는 지점을 식별하고, 런타임에는 해당 결과를 경량 정책으로 적용한다. 그 결과, 기존 기법 대비 LC 성능을 유지하면서도 CPU/캐시/메모리 자원 사용량을 크게 절감하였다.
둘째, 랙스케일 아키텍처에서는 JBOF 스위치와 HotSwap 기능을 활용하여 과부하된 Hadoop 데이터 노드의 SSD를 유휴 노드로 동적으로 재매핑함으로써, 원격 I/O 경로를 로컬 NVMe 접근으로 전환하는 동적 스토리지 할당 기법을 제안하였다. 이를 통해 특정 노드에 집중되는 CPU·메모리·네트워크 병목을 완화하고 HDFS 데이터 로컬리티를 개선하여, Hadoop 작업의 실행 시간을 단축하고 랙 내 자원 활용도를 높였다.
셋째, CPU 전용 노드와 CPU–GPU 노드로 구성된 이기종 클러스터에서는 HeteroScheduler를 설계하였다. HeteroScheduler는 IPC, LLC/대역폭 지표, GPU 활용도 등을 기반으로 워크로드를 CI/MI로 분류하고, 연산 집약 및 GPU 친화적 작업은 GPU 노드에, 메모리 집약 작업은 CPU 노드에 우선 배치한다. 또한 런타임 모니터링을 통해 경합이 감지되면 작업 마이그레이션을 수행하여, 잡 makespan을 줄이고 GPU 활용도 및 성능 안정성을 향상시켰다.
마지막으로, 통합 평가는 단일 계층 최적화가 아니라 (i) CI/MI 기반 초기 배치, (ii) 서버 계층의 LC 보호(최소 QoS 자원 보장) 및 BE의 IPC 포화 지점 기반 상한 적용, (iii) 스토리지 계층의 HotSwap/remount 기반 핫스팟 완화를 조합했을 때의 종단 간 효과를 정량화한다.
특히 통합 실험에서는 “초기 배치만 허용(통합 평가에서의 런타임 마이그레이션 비활성화)” 조건에서 비교 스케줄러들과의 차이를 확인함으로써, 계층 간 병목 전이를 억제하는 격리/제어/핫스팟 완화의 순수 효과를 드러낸다.
그 결과, 단순한 자원 요청 기반 휴리스틱이나 지연 최소화 기반 배치 방식보다 LC p99 latency와 전체 완료 시간(JCT/makespan)을 동시에 개선할 수 있음을 확인하였다.
본 논문은 공통의 LC/BE 및 CI/MI 분류와 소수의 핵심 지표(IPC, LLC 미스 특성, 메모리 대역폭, GPU 활용도)를 기반으로, 자원 경합과 성능 포화를 인지하는 스케줄링이 서버–스토리지–클러스터 전 범위에서 LC 지연 보장과 자원 효율을 동시에 달성할 수 있음을 보였다. 또한 제안 기법들은 리눅스 자원 제어, 분산 파일 시스템 및 오케스트레이션 스택 등 기존 소프트웨어를 확장하는 방식으로 구현 가능하므로, 실제 이기종 클라우드/엣지 환경에 단계적으로 적용 가능한 실용적 의미를 가진다.

다국어 초록 (Multilingual Abstract)

Recent cloud data centers and cluster computing systems increasingly integrate heterogeneous resources such as multi-core CPUs, GPUs, and JBOF (Just-a-Bunch-of-Flash)–based disaggregated flash storage, and must process compute-intensive (CI) and memory-intensive (MI) workloads concurrently on shared infrastructure. In practice, each workload class includes latency-critical (LC) services and best-effort (BE) batch jobs that co-execute while sharing CPU cores, last-level cache (LLC), memory bandwidth, storage, and accelerators. Such co-location causes severe resource contention and performance saturation across multiple layers of the system. It not only degrades LC tail latency but also reduces overall efficiency because BE workloads often reach an IPC (instructions per cycle) saturation point beyond which additional resource allocation yields diminishing returns. Existing studies typically optimize a single layer—such as intra-server resource partitioning, storage data locality, or CPU–GPU placement—or focus on a single system type, and thus have limited capability to consistently incorporate CI/MI characteristics together with LC/BE behavior to mitigate contention across diverse heterogeneous systems.
This dissertation improves resource utilization and performance in heterogeneous computing systems through resource contention- and saturation-aware scheduling under a unified workload and metric framework. Applications are classified along two axes (LC/BE and CI/MI) and characterized using micro-architectural and runtime metrics such as IPC, LLC miss ratio, memory-bandwidth usage, and GPU utilization when applicable. Building on this common framework, three complementary scheduling schemes are designed and evaluated for representative systems: a single multi-core server, a rack-scale architecture with a JBOF switch, and a heterogeneous CPU–GPU cluster. In addition, an end-to-end integrated evaluation quantifies the benefit of coordinating these mechanisms in a heterogeneous cluster setting.
First, in a single multi-core server environment, LC/BE task pairs are profiled offline over a small but balanced set of resource combinations, and a weight-based, Markov-chain-like model is constructed over core count, LLC capacity, and memory bandwidth. Using this model, the scheduler identifies the minimal resource envelope that satisfies LC QoS and the BE saturation point, and then allocates only the necessary resources to LC tasks while capping BE allocation at the saturation point. Compared with prior schemes such as OLPart and PARTIES, this approach significantly reduces CPU, LLC, and memory-bandwidth usage while preserving LC throughput and BE performance.
Second, in a rack-scale architecture with a JBOF switch, a dynamic storage-allocation scheme is proposed that detects CPU/memory overload on Hadoop data nodes and exploits HotSwap-based SSD remapping to move SSD attachments from overloaded nodes to underutilized nodes. By reducing remote network access and alleviating load concentration, the proposed method mitigates storage- and compute-side saturation, shortens Hadoop job execution time, and improves rack-level resource utilization compared with the default YARN scheduler and existing rack-scale schedulers.
Third, in a heterogeneous cluster consisting of CPU-only and CPU–GPU nodes, HeteroScheduler is designed to place tasks based on CI/MI classification and runtime IPC/LLC-miss signals, and to react to contention through monitoring and migration. Experimental results show that the proposed scheduler reduces job makespan, lowers cache misses, and improves IPC and GPU utilization compared with existing schedulers, thereby enhancing cluster-level resource utilization and performance.
Finally, an end-to-end integrated evaluation demonstrates that coordinating CI/MI-aware placement, server-level LC protection with BE saturation-aware capping, and storage hotspot mitigation yields consistent improvements in LC p99 latency and overall completion time (e.g., makespan/JCT) under realistic multi-tenant heterogeneous workloads. Overall, this dissertation shows that resource contention- and saturation-aware scheduling guided by a small set of micro-architectural indicators can simultaneously guarantee LC latency and improve resource utilization across modern heterogeneous computing systems.

목차 (Table of Contents)

• 1 Introduction 1
• 1.1 Resource Contention in Heterogeneous Computing Systems 1
• 1.2 Limitations of Existing Scheduling Techniques 3
• 1.3 Overview of the Proposed Multi Layer Framework 6
• 1.4 Overview and Contributions of This Dissertation 8
• 2 Task-Aware Scheduling for Heterogeneous Cluster (CPU/GPU) 11
• 2.1 Introduction 11
• 2.2 Motivation: Experiment Analysis 16
• 2.2.1 Characteristics of Compute-Intensive and Memory-Intensive Tasks and the Impact of Resource Metrics 16
• 2.2.2 Resource Contention Experiments 19
• 2.2.3 Optimal Placement of Compute-intensive and Memoryintensive Tasks Based on Resource Characteristics 20
• 2.2.4 Performance Degradation Analysis of Mixed Placement Strategies 21
• 2.3 Design and Implementation 23
• 2.3.1 Overall Framework Design 23
• 2.3.2 Initial Task Placement Design 24
• 2.3.3 Real-Time Task Migration 24
• 2.3.4 Algorithm 27
• 2.4 Performance Evaluation 29
• 2.4.1 Experimental Setup 29
• 2.4.2 Evaluation in Homogeneous GPU Environments 29
• 2.4.3 Evaluation in GPU-Only Environments 31
• 2.4.4 Evaluation in Heterogeneous Environments with GPU and CPU 32
• 2.5 Related Work 34
• 2.6 Conclusion 37
• 3 CPU & Memory Contention-Aware Scheduling for Server 39
• 3.1 Introduction 39
• 3.2 Motivation 43
• 3.3 Related Work 45
• 3.3.1 Markov Chain Model 49
• 3.3.2 RESOURCE CONTENTION AWARE SCHEDULING . . 64
• 3.4 Performance Evaluation 72
• 3.4.1 Experiment setup 73
• 3.4.2 EXECUTION TIME AND PERFORMANCE 75
• 3.4.3 RESOURCE SAVINGS 75
• 3.4.4 COMPARATIVE ANALYSIS 78
• 3.4.5 OVERHEAD 82
• 3.5 Discussion 82
• 3.6 Conclusion 87
• 4 Storage-Aware Scheduling for Disaggregated and Rack-Scale Architecture Server 89
• 4.1 Introduction 89
• 4.2 Motivation and Background 93
• 4.2.1 Rack Scale Architecture 93
• 4.2.2 Hadoop 101
• 4.3 Performance Evaluation 101
• 4.3.1 EXPERIMENTAL SETUP 101
• 4.3.2 Evaluating RSA Performance by Reducing Network Bottlenecks with JBOF-Based Storage Allocation 106
• 4.3.3 JBOF-Based Storage Allocation for Resource Optimization, Load Balancing, and Network Latency Reduction in Hadoop 108
• 4.4 Related Work 114
• 4.5 Design and Implementation 119
• 4.5.1 Performance Verification of Rack Scale Architecture with JBOF SwitchBased Dynamic Storage Allocation for Network Bottleneck Resolution in Legacy Rack Servers 119
• 4.5.2 Performance Optimization of Node Load Balancing and Network Bottleneck Mitigation in Hadoop Clusters through JBOF Switch-Based Dynamic Storage Allocation 121
• 4.6 Discussion 127
• 4.7 Conclusion 133
• 5 End-to-End Integrated Evaluation (Overall Architecture) 142
• 5.1 Goal and Key Idea 143
• 5.2 Compared Methods (Initial Placement Only) 143
• 5.3 Workload Set and 3-second Sequential Arrival Timeline 144
• 5.4 Metrics and Measurement Methodology 145
• 5.5 Placement Snapshots on a 4-Server Cluster 146
• 5.6 Performance Evaluation 147
• 6 Conclusion 150
• References 152
• 요약 163