In-Flash Processing for Data-Intensive Applications = 데이터 집약적 응용을 위한 인플래시 프로세싱 연구

다국어 초록 (Multilingual Abstract)

NAND flash-based Solid-State Drives (SSDs) have become the predominant storage medium for modern data-intensive applications.
Compared to traditional Hard Disk Drives (HDDs), SSDs offer various advantages, including shorter I/O latency, compact form factor, and lower energy consumption.
Moreover, advances in multi-level cell technology and 3D wordline stacking have significantly increased SSD capacity, enabling a single device to store hundreds of terabytes of data.
With these benefits and remarkable capacity enhancements, SSDs have emerged as the de facto standard for modern data-intensive workloads.

While SSDs provide significantly higher performance than HDDs, their limited bandwidth still makes it challenging to meet the demanding performance requirements of data-intensive applications.
Modern data-intensive workloads demand extremely high data processing capability over massive datasets.
To satisfy these requirements, modern computing systems employ high-performance compute units (e.g., GPUs) capable of delivering hundreds of tera–floating-point operations per second.
Unfortunately, the bandwidth of SSDs, which physically store the data to be processed, remains limited to about 4–15 GB/s.
This severely constrained SSD bandwidth introduces a substantial performance bottleneck that cannot be addressed merely by increasing compute performance.

To overcome the limited bandwidth of SSDs, in-flash processing (IFP), which performs computation directly within flash chips inside the SSD, has been actively investigated.
Because the aggregated internal bandwidth across multiple flash chips within an SSD is higher than the external PCIe interface bandwidth, IFP can effectively increase the available bandwidth of SSDs.
Leveraging this advantage, several studies have proposed IFP-based acceleration techniques for various data-intensive applications.

IFP has the potential to deliver substantial performance benefits,
but several key challenges must be addressed before it can be adopted in practical systems.
First, achieving high bandwidth requires IFP to operate all flash chips concurrently, which exposes the SSD to significant read disturbance that severely degrades both its lifetime and performance.
Second, the capacity-oriented design trend of modern NAND flash memory has substantially reduced per-chip read bandwidth, directly undermining the performance benefits that IFP aims to deliver.
Third, flash chips are manufactured under extremely tight fabrication resource constraints, making the integration of additional IFP logic components both challenging and costly.
In particular, ensuring reliable IFP operation necessitates an on-chip ECC decoder, which incurs substantial area and power overhead.

In this dissertation, we propose two novel schemes that effectively address the key challenges hindering the practical adoption of IFP.
First, we introduce DEAR, a dynamic read-refresh scheme that mitigates the impact of the read disturbance by performing refreshes in a fine-grained manner.
Conventional SSD firmware ensures reliability against read disturbance by simply triggering a refresh once the number of reads to a block exceeds a predefined threshold.
However, due to the substantial process variation in modern 3D NAND flash memory, such coarse-grained refresh policies cause excessive and unnecessary data migrations.
To eliminate this inefficiency, DEAR performs read-refresh operations based on actual error rates rather than read counts, and operates at the wordline granularity instead of the block level.
By selectively refreshing only the highly disturbed wordlines, DEAR drastically reduces the data migrations during refreshes, thereby significantly improving both SSD lifetime and performance under read disturbance.

Second, we present AiF, an in-flash processing framework that effectively improves bandwidth and implementation overheads of IFP.
To overcome the limited performance benefits of IFP caused by the diminishing read bandwidth of flash chips, AiF employs a charge-recycling read technique that dramatically increases read bandwidth by reusing the voltages applied in previous read operations for subsequent reads.
In addition, to address the area and power overhead of on-chip ECC decoders required to correct the high error rate of NAND flash memory, AiF adopts biased error encoding, which intentionally introduces non-uniform error characteristics across pages to create highly reliable pages.
By selectively storing IFP data (e.g., LLM weights) only in these reliable pages, AiF ensures the reliability of IFP using lightweight ECC.
Combining these two techniques, AiF achieves up to 4x higher read bandwidth than conventional IFP while significantly reducing implementation overhead.

To evaluate the effectiveness of the proposed schemes, we conduct extensive experiments using real-world workloads and LLMs on SSD emulation platforms.
The evaluation results show that DEAR significantly reduces data copying caused by read-refresh operations, thereby substantially improving both SSD lifetime and performance for read-intensive workloads.
Furthermore, the IFP-specialized read and reliability techniques of AiF enable a dramatic increase in read bandwidth with marginal implementation overhead, leading to a significant improvement in LLM inference throughput.

국문 초록 (Abstract)

낸드 플래시 기반의 SSD는 현대의 데이터 집약적 응용을 위한 주요 저장 매체로 자리 잡았다.
SSD는 기존 HDD에 비해 짧은 지연 시간, 소형 폼팩터, 낮은 에너지 소모 등의 다양한 장점을 제공한다.
또한 멀티 레벨 셀과 3D 워드라인 적층 기술의 발전으로 SSD의 저장 용량은 크게 증가하여, 단일 장치에서 수백 테라바이트의 데이터를 저장할 수 있게 되었다.
이러한 장점들과 비약적인 용량 향상에 힘입어 SSD는 현대 데이터 집약적 워크로드를 위한 사실상의 표준 저장 장치로 자리매김하였다.

SSD는 HDD에 비해 현저히 높은 성능을 제공하지만, 제한적인 대역폭으로 인해 데이터 집약적 응용이 요구하는 성능 수준을 충족하는 데에는 여전히 한계가 존재한다.
현대의 데이터 집약적 워크로드는 방대한 데이터셋에 대한 전례 없는 수준의 높은 데이터 처리 성능을 요구한다.
이를 충족하기 위해 현대 컴퓨팅 시스템은 초당 수백 테라플롭스의 연산 성능을 제공하는 고성능 연산 장치(예: GPU)를 활용한다.
그러나 실제로 데이터를 저장하고 있는 SSD의 대역폭은 물리적으로 약 4–15 GB/s 수준에 머물러 있다.
이와 같은 심각한 SSD 대역폭 제약은 연산 성능 향상만으로는 해결할 수 없는 중대한 성능 병목을 초래한다.

SSD의 제한적인 대역폭 문제를 극복하기 위해, SSD 내부의 플래시 칩에서 직접 연산을 수행하는 인-플래시 프로세싱(In-Flash Processing, IFP)이 활발히 연구되고 있다.
SSD 내부에는 다수의 플래시 칩이 병렬로 구성되어 있으며, 이들 칩 간의 집적 내부 대역폭은 외부 PCIe 인터페이스 대역폭보다 크다.
따라서 IFP는 SSD의 가용 대역폭을 효과적으로 증가시킬 수 있다.
이러한 장점을 활용하여, 다양한 데이터 집약적 응용을 가속하기 위한 IFP 기반 기법들이 제안되어 왔다.

IFP는 상당한 성능 향상을 제공할 잠재력이 있으나, 실제 시스템에 적용되기 위해서는 몇 가지 핵심적인 문제를 해결해야 한다.
첫째, 높은 대역폭을 확보하기 위해 모든 플래시 칩을 동시에 동작시키는 경우, 심각한 읽기 교란(read disturbance)이 발생하여 SSD의 수명과 성능이 크게 저하된다.
둘째, 저장 용량 중심으로 발전해 온 최신 낸드 플래시 메모리의 설계 추세로 인해 칩당 읽기 대역폭이 크게 감소하였으며, 이는 IFP가 제공하고자 하는 성능 이점을 직접적으로 약화시킨다.
셋째, 플래시 칩은 매우 엄격한 공정 자원 제약 하에서 제조되므로, 추가적인 IFP 로직을 통합하는 것은 기술적·비용적 측면에서 큰 부담이 된다.
특히 신뢰성 있는 IFP 동작을 위해서는 온칩 오류 정정 코드(Error Correction Code, ECC) 디코더가 필수적이며, 이는 상당한 면적 및 전력 오버헤드를 초래한다.

본 논문에서는 IFP의 실용적 적용을 가로막는 이러한 핵심 문제들을 효과적으로 해결하기 위한 두 가지 새로운 기법을 제안한다.
첫째, 읽기 교란의 영향을 완화하기 위해 보다 정밀한 단위로 리프레시를 수행하는 동적 읽기-리프레시 기법인 DEAR(Dynamic Error-Aware Refresh)를 제안한다.
기존 SSD 펌웨어는 블록의 읽기 횟수가 오프라인에서 설정된 읽기 횟수 임계값을 초과하면 리프레시를 수행함으로써 읽기 교란에 대응한다.
그러나 최신 3D 낸드 플래시 메모리는 공정 변이가 매우 크기 때문에, 이러한 단순한 리프레시 정책은 과도하고 불필요한 데이터 마이그레이션을 유발한다.
이를 해결하기 위해 DEAR는 읽기 횟수가 아닌 실제 오류율에 기반하여 리프레시를 수행하며, 블록 단위가 아닌 워드라인 단위로 동작한다.
읽기 교란이 심각한 워드라인만을 선택적으로 리프레시함으로써, DEAR는 리프레시 과정에서 발생하는 데이터 이동을 대폭 감소시키고, 읽기 집약적 워크로드에서 SSD의 수명과 성능을 크게 향상시킨다.

둘째, IFP의 대역폭과 구현 오버헤드를 효과적으로 개선하기 위한 IFP 프레임워크인 AiF(Accelerator-in-Flash)를 제안한다.
플래시 칩의 읽기 대역폭 감소로 인해 제한되는 IFP 성능을 극복하기 위해, AiF는 이전 읽기 연산에서 사용된 전압을 이후 읽기에 재사용하는 전하 재활용 읽기(charge-recycling read) 기법을 적용하여 읽기 대역폭을 획기적으로 향상시킨다.
또한 낸드 플래시 메모리의 높은 오류율을 보정하기 위해 요구되는 온칩 ECC 디코더의 면적 및 전력 오버헤드를 줄이기 위해, AiF는 의도적으로 페이지 간 비균일한 오류 특성을 유도하는 편향 오류 인코딩(biased error encoding)을 채택한다.
이를 통해 매우 높은 신뢰성을 갖는 페이지를 생성하고, LLM 가중치와 같은 IFP 데이터들을 이러한 신뢰성 높은 페이지에 선택적으로 저장함으로써 경량 ECC만으로도 IFP의 신뢰성을 보장한다.
이 두 가지 기법을 결합함으로써 AiF는 기존 IFP 대비 최대 4배 높은 읽기 대역폭을 달성함과 동시에 구현 오버헤드를 크게 개선한다.

제안한 기법들의 효과를 검증하기 위해, 실제 워크로드와 LLM을 대상으로 SSD 에뮬레이션 플랫폼에서 광범위한 실험을 수행하였다.
실험 결과, DEAR는 읽기-리프레시로 인한 데이터 복사를 현저히 감소시켜 읽기 집약적 워크로드에서 SSD의 수명과 성능을 크게 향상시킴을 확인하였다.
또한 AiF의 IFP 특화 읽기 및 신뢰성 기법은 미미한 구현 오버헤드로 읽기 대역폭을 대폭 향상시켜, 온디바이스 LLM 추론 처리량을 크게 개선함을 보였다.

목차 (Table of Contents)

• Abstract i
• Contents v
• List of Figures ix
• List of Tables xii
• I. Introduction 1
• 1.1 Motivation 1
• 1.2 Dissertation Goals 3
• 1.3 Contributions 5
• 1.4 Dissertation Structure 7
• II. Background 10
• 2.1 Overview of 3D NAND Flash Memory 10
• 2.1.1 Organization 10
• 2.1.2 3D Manufacturing Process 11
• 2.1.3 NAND Flash Operation 12
• 2.1.4 Multi-level Cell Technology 14
• 2.2 Read-Disturbance Problem 15
• 2.2.1 Read-Disturbance Mechanism 15
• 2.2.2 Read Disturbances in 3D Flash Memory 16
• 2.2.3 State-Dependent Read-Disturbance Errors 17
• 2.2.4 Reliability Management: ReadRefresh 18
• 2.3 Related Work 19
• 2.3.1 Read-Disturbance Management 19
• 2.3.2 In-Storage Processing 20
• 2.3.3 In-Flash Processing 21
• III. Key Challenges in In-Flash Processing 22
• 3.1 Diminishing Read Bandwidth 22
• 3.1.1 Capacity Scaling of NAND Flash Memory 22
• 3.1.2 Limitations of IFP for Read-Intensive Workloads 25
• 3.2 High Read Disturbance 26
• 3.2.1 Read Disturbance in Modern SSDs 26
• 3.2.2 Read Disturbance in IFP-enabled SSDs 31
• 3.3 High Implementation Overheads 34
• 3.3.1 Root Causes of High Implementation Overheads: PPA Inefficiency and ECC Complexity 34
• 3.3.2 Quantitative Evaluation of On-Chip ECC Overheads 35
• IV. Mitigating Read Disturbance via Dynamic Error-Aware Refresh 38
• 4.1 Limitations of the Existing Solutions 38
• 4.2 Overview of DEAR 40
• 4.3 Design of Swift Error Estimator 45
• 4.3.1 Intra-Layer Similarity for SAM 46
• 4.3.2 Correlation of Fail-Bit Count for FEM 47
• 4.3.3 Monitoring Interval Analysis for BPM 49
• 4.4 DEARSSD: System Integration 51
• 4.5 Evaluation 55
• 4.5.1 Evaluation Methodology 55
• 4.5.2 RR-Induced Writes 57
• 4.5.3 Read Latency 59
• 4.5.4 SSD Lifetime 61
• 4.5.5 Monitoring Overhead 63
• V. Specializing Flash Operations for Efficient In-Flash Processing 64
• 5.1 AiF: Accelerator-in-Flash 65
• 5.1.1 Overview 65
• 5.1.2 Charge-Recycling Read 67
• 5.1.3 Bias-Error Encoding 72
• 5.1.4 Design of AiFChip 77
• 5.2 Integrating AiF into On-Device LLM Inference 80
• 5.2.1 LLM Inference Workflow with AiFSSD 80
• 5.2.2 System Supports for AiF SSD Integration 82
• 5.3 System-Level Evaluation 84
• 5.3.1 Evaluation Setup 84
• 5.3.2 Throughput 88
• 5.3.3 Energy Efficiency 90
• 5.3.4 Scalability 91
• 5.3.5 Overhead Analysis 92
• 5.3.6 RR-Induced Writes 93
• VI. Conclusions 96
• 6.1 Summary 96
• 6.2 Future Work 98
• 6.2.1 Reliability-Aware Data Placement 98
• 6.2.2 Accelerating Vector ANNS Using In-Flash Processing 98
• 6.2.3 Composable In-Storage Processing Framework 100
• Appendix 104