Decoupling Transactional Storage from Heterogeneous Analytical Engines via Open-Format ETL = 오픈 포맷 기반 ETL 을 통한 트랜잭션 스토리지 - 이종 분석 처리 엔진 분리 설계

국문 초록 (Abstract)

하이브리드 트랜잭션·분석 처리(HTAP)는 최근에 커밋된 트랜잭션 데이터가 최소한의 지연으로 분석 처리에 활용될 수 있을 것을 요구한다. 그러나 기존 HTAP 아키텍처는 트랜잭션 업데이트를 특정 분석 엔진의 내부 저장 포맷에 종속시키는 경우가 많아, 엔진별 데이터 변환 경로를 유발하고 분석 처리의 유연성을 제한한다.

본 논문은 트랜잭션 업데이트를 지속적으로 포맷 호환(columnar format compliant)된 컬럼 기반 표현으로 변환하는 open-format HTAP 아키텍처를 제안한다. 분석 데이터의 기본 표현으로 open columnar format을 채택함으로써, 본 시스템은 엔진별 데이터 변환 과정을 제거하는 동시에 트랜잭션 업데이트의 낮은 지연 가시성을 유지한다.

제안하는 아키텍처는 두 가지 핵심 메커니즘을 중심으로 구성된다. Columnar Mempartition은 행 기반 트랜잭션 연산을 대량 재구성 없이 고정 레이아웃의 Parquet 호환 column chunk 로 점진적으로 변환하는 in-memory 자료구조이다. Delta Column은 업데이트 및 삭제 연산을 append-only이면서 포맷 호환적인 방식으로 기록하여, 기존 컬럼 데이터를 재작성하지 않고도 수정 사항이 점진적 재분할 과정에서 반영되거나 분석 스캔 시점에 적용될 수 있도록 한다.

이러한 메커니즘은 점진적 재분할 파이프라인과 결합되어 높은 수집 처리량, 효율적인 분석 스캔, 그리고 빠른 업데이트 가시성을 제공하면서도 open columnar format과의 엄격한 호환성을 유지한다. TPC-H 및 CH-benCHmark를 이용한 실험 결과는 제안한 아키텍처가 순수 분석 워크로드와 혼합 HTAP 워크로드 모두에서 경쟁력 있는 분석 성능과 안정적인 HTAP 동작을 달성함을 보여준다.

다국어 초록 (Multilingual Abstract)

Hybrid transactional and analytical processing (HTAP) requires that recently committed transactional data become available for analytical processing with minimal delay. Existing HTAP architectures, however, typically bind transactional updates to the internal storage format of a specific analytical engine, introducing engine-specific conversion paths and limiting flexibility in analytical execution.

This thesis presents an open-format HTAP architecture that continuously transforms transactional updates into a format-compliant columnar representation suitable for direct analytical access. By adopting open columnar formats as the primary analytical representation, the system eliminates the need for engine-specific data conversion while preserving low-latency visibility of updates.

The architecture is built around two key mechanisms. The Columnar Mempartition is an in-memory ingest structure that incrementally converts row-oriented transactional operations into fixed-layout, Parquet-compatible column chunks without requiring bulk reconstruction. The Delta Column complements this design by capturing updates and deletions in an append-only, format-compliant manner, allowing modifications to propagate correctly through progressive repartitioning or to be applied during analytical scans without rewriting base data.

Together with a progressive repartitioning pipeline, these mechanisms enable high ingestion throughput, efficient analytical scans, and timely update visibility while maintaining strict compatibility with open columnar formats. Experimental evaluation using TPC-H and CH-benCHmark demonstrates that the proposed architecture achieves competitive analytical performance and stable HTAP behavior under concurrent transactional and analytical workloads.

목차 (Table of Contents)

• Abstract i
• Contents iii
• List of Figures v
• Chapter 1 Introduction 1
• Chapter 2 Background and Motivation 7
• 2.1 OLTP, OLAP, and the Need for Open-Format HTAP 7
• 2.2 Progressive Partitioning 10
• Chapter 3 Design 12
• 3.1 Columnar Mempartition 12
• 3.2 Delta Column 18
• Chapter 4 Implementation 22
• 4.1 Overall Architecture 22
• 4.2 Optimization 24
• 4.2.1 Delta-Only Mempartition 24
• 4.2.2 Delta Application in Parquet Pages 26
• Chapter 5 Evaluation 28
• 5.1 Evaluation Setup 28
• 5.2 Impact of Repartitioning on Analytical Scan Performance 29
• 5.3 Performance Isolation 31
• Chapter 6 Related Work 34
• 6.1 Dual-Engine HTAP and ETL Pipelines 34
• 6.2 Progressive Partitioning 35
• 6.3 Partition Pruning and Data Skipping 36
• 6.4 Delta Propagation and Update Replication 36
• 6.5 Open Columnar Formats 37
• Chapter 7 Conclusion 38
• 요약 47