A Multi-Model Analytic System with Multiple Storage Engines = 다중 스토리지 엔진 기반 멀티모델 분석 시스템

다국어 초록 (Multilingual Abstract)

Modern analytic workloads increasingly require handling multiple data models simultaneously. In particular, machine learning and scientific workloads frequently involve processing array data alongside structured and semi-structured data. However, processing these workloads presents two primary challenges. First, existing approaches for multi-model workloads such as polyglot persistence and single-engine multi-model database systems exhibit performance degradation. Polyglot persistence incurs high communication costs due to the physical separation of systems, while single-engine architectures suffer from inefficient query processing due to their reliance on a single storage engine. Second, there is a lack of array storage engines optimized for disk I/O, which is critical for handling the array-centric components of multi-model analytic workloads. Current array processing solutions are typically designed for distributed environments or provide only limited support for out-of-core computation.
To address these limitations, this dissertation proposes two systems: M2 and PreVision. M2 addresses the first challenge by integrating multiple storage engines into a single system. It further optimizes multi-model query processing by employing the multi-stage hash join algorithm and unified buffer management. PreVision addresses the second challenge by mitigating disk I/O overhead through the optimal buffer replacement algorithm and query execution strategy. Extensive experiments evaluate the efficacy of the proposed systems, demonstrating that both M2 and PreVision achieve superior performance across their respective analytic workloads.

국문 초록 (Abstract)

오늘날 많은 분석 워크로드는 여러 데이터 모델을 동시에 사용하는 능력을 요구한다. 특히 머신러닝과 과학 워크로드의 경우 정형, 비정형 데이터와 함께 배열 데이터 모델을 처리한다. 그러나, 이러한 워크로드를 처리하는 과정에는 크게 두 가지 문제가 존재한다. 첫째, 기존의 멀티모델 워크로드를 처리하기 위한 방식인 polyglot persistence와 단일 엔진 기반 멀티모델 데이터베이스 시스템은 성능 저하 문제를 겪는다. Polyglot persistence는 시스템의 물리적 분리로 인한 높은 통신 비용이 발생하며, 단일 엔진 기반 멀티모델 데이터베이스 시스템은 하나의 데이터 모델에 최적화된 단일 스토리지 엔진에 대한 의존으로 인한 비효율적인 질의 처리가 한계이다. 둘째, 멀티모델 분석 워크로드의 핵심이 되는 배열 워크로드를 처리하기 위한 디스크 I/O에 최적화된 배열 스토리지 엔진이 부재하다. 기존의 배열 처리 솔루션은 분산 시스템에 특화되어 있거나, 제한된 코어 외 연산 기능을 제공한다.
이러한 문제를 해결하기 위해 본 논문은 M2와 PreVision을 제안한다. M2는 첫 번째 문제를 해결하기 위해 다중 스토리지 시스템을 하나로 통합하였다. 더 나아가, 다단계 해시 조인과 통합된 버퍼 풀을 통해 멀티모델 질의 처리를 최적화하였다. PreVision은 두 번째 문제를 해결하기 위해 최적의 버퍼 교체 알고리즘과 질의 처리 방식을 통해 디스크 I/O 오버헤드를 완화한다. 각 시스템의 성능을 평가하기 위한 광범위한 실험을 진행하였으며, M2와 PreVision 두 시스템 모두 각각의 분석 워크로드에서 우수한 성능을 보임을 입증하였다.

목차 (Table of Contents)

• Abstract i
• Chapter 1 Introduction 1
• 1.1 Performance Degradation by Existing Multi-Model Analytic Systems 2
• 1.2 High Disk I/O Costs by Existing Array Engines 4
• 1.3 Dissertation Organization 5
• Chapter 2 Background 6
• 2.1 Existing Multi-Model Analytics Systems 6
• 2.2 Tiled Storage Architecture 9
• 2.2.1 Array Data Model 9
• 2.2.2 Physical Storage Format 9
• 2.2.3 Tile Storage 10
• 2.3 Buffer Replacement Algorithms 11
• 2.4 Related Work 13
• 2.4.1 Systems for Array Computation 13
• 2.4.2 Reducing the Memory Pressure 14
• 2.4.3 GPU Memory Management 15
• 2.4.4 Multi-Model Query Processing 15
• 2.4.5 Multi-Model Benchmark 16
• Chapter 3 An Out-of-Core Array Computation System with Efficient Disk I/O 17
• 3.1 Looking into the Future 19
• 3.1.1 Overview of PreVision 20
• 3.1.2 Executing a DAG Query Plan 22
• 3.1.3 Constructing a Future Log 24
• 3.2 Optimal Tile Replacement 26
• 3.3 Preemptive Eviction 29
• 3.4 Implementation Details 31
• 3.4.1 Memory Management 32
• 3.4.2 I/O Management 35
• 3.5 Evaluation 37
• 3.5.1 Experimental Settings 38
• 3.5.2 Comparison with Existing Systems 41
• 3.5.3 Effects of Query Execution 46
• 3.5.4 Effects of Preemptive Eviction 49
• 3.5.5 Effects of Buffer Replacement 50
• 3.6 Summary 53
• Chapter 4 A Multi-Model Analytic System with Multiple Storage Engines 55
• 4.1 Data Model and Operation 57
• 4.1.1 Model Definition 57
• 4.1.2 Interface and Operation 58
• 4.2 Query Processing with Integrated Engines 61
• 4.2.1 Query Execution Flow 61
• 4.2.2 Unified Buffer Pool 64
• 4.2.3 Discussion on Extensibility 66
• 4.3 Multi-Stage Hash Join 67
• 4.4 Evaluation 73
• 4.4.1 Comparison with Other Systems 73
• 4.4.2 Evaluation for Multi-Stage Hash Join 79
• 4.5 Summary 82
• Chapter 5 Future Work 83
• 5.1 Future Work for PreVision 83
• 5.2 Future Work for M2 84
• Chapter 6 Conclusion 86
• 요약 102