Improving I/O Performance via Analysis of Data Access Patterns and Autonomous Configuration in HPC Storage Systems = 데이터 접근 패턴 분석과 자동 설정을 통한 고성능 스토리지 시스템의 I/O 성능 향상 방안

다국어 초록 (Multilingual Abstract)

In large-scale high-performance computing (HPC) systems, various applications with different I/O characteristics are executed. However, underlying HPC storage systems, such as a parallel file system (PFS) and a global and node-local burst buffers (BBs), are unaware of these characteristics of applications, and using a single fixed file layout for all applications can degrade the performance. Moreover, utilizing faster storage tiers (i.e., BB) with high-performing storage capabilities can introduce some challenges, such as manual configurations, explicit data management, and unexpected I/O performance degradation, which result in low utilization rates and inefficient storage utilization.

In this dissertation, we analyzed data access patterns of applications in HPC systems such as Perlmutter at NERSC and Nurion at KISTI. Specifically, we divide data access patterns into spatial and temporal file access patterns. Based on analyses, we autonomously configure the HPC storage systems and optimize the I/O performance of applications by (1) adjusting file layout adaptively in real-time and (2) redirecting and relocating file accesses within different tiers in the storage hierarchy of the HPC system.

To do this, we propose schemes to improve the I/O performance of applications by leveraging spatial and temporal file access patterns. First, we design A2FL, an autonomous and adaptive file layout adjustment scheme that optimizes PFS configurations by analyzing the spatial file access pattern of the applications. A2FL intercepts and records spatial file access patterns from I/O operations of applications in real-time, transforms them into graphical representations that are used for predicting I/O performance, and adjusts file layouts adaptively. Second, we propose AutoR2, an autonomous I/O redirection and file relocation scheme for HPC storage systems. The goal of AutoR2 is to autonomously redirect I/O applications to a faster storage tier based on application I/O and system performance characteristics. AutoR2 analyzes I/O characteristics and performance trends on different storage tiers. Then, it learns temporal file access patterns to manage file data among HPC storage tiers without user intervention.

To demonstrate the effectiveness of the proposed schemes, we evaluate the schemes on production HPC systems. Our evaluation results show that A2FL significantly enhances I/O performance, with improvements of up to 68.35x compared to the default file layout. Moreover, AutoR2 can improve by up to 1.63x speed-up in terms of accumulated I/O time compared with the default system.

국문 초록 (Abstract)

대규모 고성능 컴퓨팅 시스템에서는 다양한 I/O 특성을 갖는 다양한 응용 프로그램들이 실행된다. 그러나 병렬 파일 시스템과 글로벌 및 노드-로컬 버스트 버퍼와 같은 고성능 스토리지 시스템은 이러한 응용 프로그램의 I/O 특성을 인지하지 못하며, 모든 응용 프로그램에 대해 단일한 고정 파일 레이아웃을 사용하는 방식은 성능 저하를 초래할 수 있다. 또한 높은 성능을 제공하는 빠른 스토리지 계층을 활용하는 과정에서는 수동 설정, 명시적인 데이터 관리, 그리고 예기치 않은 I/O 성능 저하와 같은 문제들이 발생할 수 있으며, 이는 낮은 활용률과 비효율적인 스토리지 자원 사용으로 이어진다.

본 학위논문에서는 NERSC의 Perlmutter와 KISTI의 Nurion과 같은 실제 HPC 시스템에서 실행되는 응용 프로그램들의 데이터 접근 패턴을 분석하였다. 구체적으로 데이터 접근 패턴을 공간적 파일 접근 패턴과 시간적 파일 접근 패턴으로 구분하였다. 이러한 분석을 기반으로, (1) 실시간으로 파일 레이아웃을 적응적으로 조정하고, (2) HPC 시스템의 스토리지 계층 내에서 파일 접근을 리다이렉션 및 재배치함으로써, 사용자 개입 없이 HPC 스토리지 시스템을 자율적으로 구성하고 응용 프로그램의 I/O 성능을 최적화한다.

이를 위해 본 논문에서는 공간적 및 시간적 파일 접근 패턴을 활용하여 응용 프로그램의 I/O 성능을 향상시키는 두 가지 기법을 제안한다. 첫째, 응용 프로그램의 공간적 파일 접근 패턴을 분석하여 PFS 구성을 최적화하는 자율적·적응적 파일 레이아웃 조정 기법인 A2FL을 설계한다. A2FL은 응용 프로그램의 I/O 연산으로부터 공간적 파일 접근 패턴을 실시간으로 기록하고, 이를 그래픽 표현으로 변환하여 I/O 성능 예측에 활용하며, 파일 레이아웃을 적응적으로 조정한다. 둘째, HPC 스토리지 시스템을 위한 자율적 I/O 리다이렉션 및 파일 재배치 기법인 AutoR2를 제안한다. AutoR2의 목표는 응용 프로그램의 I/O 특성과 시스템 성능 특성을 기반으로, I/O 요청을 더 빠른 스토리지 계층으로 자율적으로 리다이렉션하는 것이다. 이를 위해 AutoR2는 서로 다른 스토리지 계층에서의 I/O 특성과 성능 추세를 분석하고, 시간적 파일 접근 패턴을 학습하여 사용자 개입 없이 HPC 스토리지 계층 간의 파일 데이터를 관리한다.

제안한 기법들의 효과를 검증하기 위해, 본 논문에서는 실제 운영 중인 HPC 시스템에서 성능 평가를 수행하였다. 실험 결과, A2FL은 기본 파일 레이아웃 대비 최대 68.35배의 I/O 성능 향상을 달성하였으며, AutoR2는 기본 시스템 대비 누적 I/O 시간 기준으로 최대 1.63배의 성능 향상을 보였다.

목차 (Table of Contents)

• Chapter 1 Introduction 1
• 1.1 Motivation 1
• 1.1.1 High-performance Computing Systems 1
• 1.1.2 HPC Storage Systems 3
• 1.1.3 Comparison to Existing Works 5
• 1.1.4 Contributions 6
• Chapter 2 Background 9
• 2.1 HPC Applications and Spatial File Access Patterns 9
• 2.2 Storage Hierarchy in HPC Systems 11
• 2.2.1 Parallel File System 11
• 2.2.2 Burst Buffer 13
• 2.3 File Accesses and Inter-arrival Time 14
• 2.4 I/O Characteristics and Performance Difference 15
• 2.4.1 Global BB and PFS 16
• 2.4.2 Node-local BB and PFS 17
• Chapter 3 Autonomous and Adaptive File Layout 21
• 3.1 Design 21
• 3.1.1 Overall Procedure 21
• 3.1.2 Tracing Spatial file Access Pattern 23
• 3.1.3 Creating Image of Access Pattern 25
• 3.1.4 Training the I/O Performance Model 28
• 3.1.5 I/O Performance Prediction and File Layout Adjustment 30
• 3.1.6 Compound File Layout 31
• 3.1.7 Universal Models 33
• 3.2 Evaluation 35
• 3.2.1 Experimental setup 35
• 3.2.2 Benchmarks 36
• 3.2.3 A2FL 38
• 3.2.4 A2FL-Compound 43
• 3.2.5 Overheads 47
• Chapter 4 Autonomous I/O Redirection and File Relocation 50
• 4.1 Design 50
• 4.1.1 Overall Procedure 50
• 4.1.2 BB-efficient I/O Redirection 52
• 4.1.3 File Relocation 54
• 4.2 Evaluation 60
• 4.2.1 HPC System and File Access Logs 60
• 4.2.2 Evaluation Methods 61
• 4.2.3 Performance of AutoR2 62
• 4.2.4 Overheads 68
• Chapter 5 Related Works 70
• 5.1 ML-Based Modeling and Prediction of I/O Characteristics 70
• 5.2 Adjusting Application and File System Configuration 71
• 5.3 Analysis of HPC System Logs 72
• 5.4 File Placement in HPC 73
• Chapter 6 Conclusion 74
• 요약 91