A Scalable Userspace Distributed Filesystem for Modern Storage Environments = 최신 스토리지 환경을 위한 확장 가능한 사용자 공간 분산 파일시스템

다국어 초록 (Multilingual Abstract)

Distributed filesystems (DFSs) have been a cornerstone of modern large-scale storage environments such as HPC (High-Performance Computing) systems by providing rapid data access to support I/O-demanding applications. With the emergence of burst buffer layers, DFSs are increasingly repurposed for campaign storage, where scalability and cost-effectiveness are of paramount importance. However, existing DFSs often suffer from scalability issues due to their centralized metadata management. Alternatively, object storage systems have gained popularity thanks to their simplified interfaces and scale-out architectures, yet most users continue to favor the POSIX interface for its global hierarchical namespace and fine-grained access control.
In this dissertation, we propose a scalable userspace distributed filesystem for modern storage environments, which is capable of delivering highperformance
for extremely large and numerous files and complying with POSIX requirements. First, we introduce ArkFS, a decentralized DFS on object storage in which clients collaboratively participate in metadata management, eliminating the need for remote metadata servers. Second, we present RFUSE, a novel userspace filesystem framework that leverages per-core ring channels for scalable message communication between the kernel and userspace.
By taking into account the scalability of both the filesystem implementation and the framework’s structural design, this approach can fully exploit the performance of modern storage environments.

국문 초록 (Abstract)

분산 파일시스템(DFS)은 고성능 컴퓨팅(HPC)과 같은 최신의 대규모 스토리지 환경에서 I/O 요청이 많은 애플리케이션을 지원하기 위해 신속한 데이터 접근을 제공해 온 핵심 기술이다. 그러나 버스트 버퍼 계층의 등장으로 DFS는 점차 ‘캠페인 스토리지(campaign storage)’로서의 역할을 담당하도록 재조명되고 있으며, 이 영역에서는 뛰어난 확장성과 비용 효율성이 중요한 요소로 여겨지고 있다. 하지만 기존 DFS는 중앙집중적인 형태의 메타데이터 관리로 인해 확장성 한계에 자주 부딪힌다. 한편, 객체 스토리지는 단순한 인터페이스와 스케일-아웃 아키텍처 덕분에 DFS의 대체 기술로 주목받고 있지만, 사용자는 여전히 전역 계층적 네임스페이스와 세분화된 접근 제어를 제공하는 POSIX 인터페이스를 선호하고 있다.
본 학위논문에서는 최신 스토리지 환경을 겨냥해 초대형 및 다량의 파일을 다루기 위한 고성능을 제공하면서 POSIX 요구사항을 충족하는, 확장 가능한 사용자 공간 분산 파일시스템을 제안한다. 첫째, 클라이언트가 메타데이터 관리에 협업하여 원격 메타데이터 서버를 제거한 객체 스토리지 기반 탈중앙화 DFS인 ArkFS를 소개한다. 둘째, 커널과 사용자 공간 사이의 메시지 통신을 코어별 링 채널 배치를 통해 확장함으로써 처리 병목을 해소하는 새로운 사용자 공간 파일시스템 프레임워크 RFUSE를 제시한다.
파일시스템 자체와 프레임워크 구조 양측의 확장성을 함께 고려함으로써, 제안한 접근법은 최신 스토리지 환경의 성능을 최대한 끌어낼 수 있음을 보인다.

목차 (Table of Contents)

• Abstract i
• Chapter 1 Introduction 1
• 1.1 Contributions 4
• 1.2 Organization 4
• Chapter 2 Background 6
• 2.1 Distributed Filesystem Architecture 6
• 2.2 Campaign Storage Tier 7
• 2.3 Object Storage System 8
• 2.4 Userspace Filesystem 8
• 2.5 FUSE (Filesystem in Userspace) 10
• Chapter 3 Decentralized Distributed Filesystem Architecture 13
• 3.1 Motivation 13
• 3.2 Distributed Filesystems on Object Storage 19
• 3.3 ArkFS Design 21
• 3.3.1 Overall Architecture 21
• 3.3.2 Lease Management 22
• 3.3.3 Per-directory Metadata Table 25
• 3.3.4 Data Object Caching 28
• 3.3.5 Crash Consistency with Per-directory Journaling 29
• 3.3.6 PRT Modules 32
• 3.4 Evaluation 34
• 3.4.1 Experimental Setup 34
• 3.4.2 Micro-benchmarks 35
• 3.4.2.1 mdtest-easy Performance 36
• 3.4.2.2 mdtest-hard Performance 37
• 3.4.2.3 FIO Performance 39
• 3.4.3 Scalability Test 41
• 3.4.4 Archiving Workload 43
• 3.5 Summary 44
• Chapter 4 Scalable Userspace Filesystem Framwork 46
• 4.1 Motivation 46
• 4.1.1 Overheads in FUSE 47
• 4.1.2 Ring buffer-based Communication 49
• 4.2 Prior Work on FUSE Optimizations 50
• 4.3 RFUSE Design 52
• 4.3.1 Overall Architecture of RFUSE 52
• 4.3.2 Scalable Kernel-Userspace Communication 54
• 4.3.3 Worker Thread Management 56
• 4.3.4 Hybrid Polling 57
• 4.3.5 Load Balancing of Asynchronous Requests 58
• 4.3.6 Transmission of Ring Channel Information 59
• 4.3.7 Memory Usage of Ring Channels 60
• 4.3.8 Compatibility with FUSE 61
• 4.4 Evaluation 62
• 4.4.1 Experimental Setup 62
• 4.4.2 Latency Breakdown 63
• 4.4.3 Micro-benchmark 65
• 4.4.3.1 FIO Performance 65
• 4.4.3.2 I/O Scalability 67
• 4.4.3.3 Metadata Operation Scalability 69
• 4.4.4 Macro-benchmarks 70
• 4.4.5 Factor Analysis 73
• 4.4.6 CPU Utilization 74
• 4.5 Related Work 75
• 4.6 Summary 77
• Chapter 5 Conclusion 78
• 요약 92
• 감사의 글 93