Devices and Systems for Memory-Intensive Deep Learning Applications = 메모리 집약적 딥 러닝 응용프로그램을 위한 디바이스와 시스템

다국어 초록 (Multilingual Abstract)

Deep learning models have become foundational across a wide range of applications, demonstrating remarkable performance in diverse tasks. Early deep neural networks (DNNs) primarily comprised dense layers such as fully connected and convolutional layers, which were compute-intensive and well supported by traditional hardware accelerators (e.g., GPUs, TPUs). However, the landscape of deep learning has rapidly evolved with the emergence of large-scale models such as Large Language Models (LLMs), recommender systems (RecSys), and graph neural networks (GNNs). These models introduce new challenges as they demand significantly higher memory bandwidth, larger memory capacity, and improved energy efficiency due to their large parameter sizes and irregular memory access patterns. This dissertation addresses the critical challenge of accelerating memory-intensive operations in deep learning applications by designing hardware architectures tailored to the specific characteristics of each workload.

First, we propose Duplex, a computing architecture that targets the inference of recent LLMs. Duplex integrates two types of processing units within a single device: xPU, which is optimized for high arithmetic intensity (Op/B) operations, and Logic-PIM, a novel logic-die-based processing-in-memory (PIM) architecture designed to handle low-Op/B operations efficiently. Based on workload characteristics, Duplex dynamically selects the appropriate compute unit for each layer. Logic-PIM takes advantage of recent trends in high-bandwidth memory (HBM) technology by placing powerful computing units on the logic die and increasing the number of through-silicon vias (TSVs) between the DRAM dies and the logic die, enabling high-bandwidth between the DRAM dies and computing units. To further improve utilization, we introduce expert and attention co-processing mechanisms, allowing fine-grained parallel execution of MoE and attention layers across both compute units. Evaluation results show that Duplex achieves up to 2.67X higher throughput and 42.0% lower energy consumption than baseline GPU-only systems, with average improvements of 2.07X in throughput and 28.2% in energy efficiency for real-world LLM inference workloads.

Second, we present CLAY, a Compute Express Link (CXL)-based scalable near-data processing (NDP) architecture that accelerates the execution of embedding layers, which are a dominant component in recommendation models and GNNs. Unlike conventional DIMM-based NDP architectures that suffer from memory channel limitations and performance bottlenecks caused by multi-drop bus structures, CLAY introduces a new architecture composed of DRAM clusters with on-board interconnection and dedicated compute units. CLAY significantly reduces data transfer time by allowing direct communication between memory modules and reducing instruction bandwidth by employing packet duplication. Furthermore, we design a fine-grained memory address mapping strategy to minimize load imbalance during sparse memory access of the embedding layers. We extend CLAY to multi-device configurations via a CXL switch, enabling efficient processing of extremely large embedding tables. Experimental results show that CLAY achieves up to 2.77X end-to-end speedup compared to state-of-the-art NDP architectures such as FeaNMP and G-NMP, with substantial gains across both RecSys and GNN.

Together, these contributions highlight the importance of workload-specific architectural specialization and memory-centric design in overcoming performance bottlenecks in modern memory-intensive deep learning applications.

국문 초록 (Abstract)

딥러닝 모델은 다양한 응용 분야에서 핵심 기술로 자리잡았으며, 여러 작업에서 인상적인 성능을 보여주고 있다. 초기의 딥 뉴럴 네트워크 (DNN) 는 주로 fully-connected layer 또는 convolution layer와 같이 compute-intensive한 layer들로 구성되어 있었으며, 이러한 연산은 GPU 또는 TPU와 같은 기존 하드웨어 가속기로 효과적으로 처리할 수 있었다. 하지만 최근에는 대규모 언어 모델 (LLM), 추천 시스템 (RecSys), 그래프 신경망 (GNN) 과 같은 대형 모델이 등장하면서 딥러닝의 하드웨어 요구사항이 급격히 변화했다. 이러한 모델들은 파라미터 수의 급증 또는 불규칙한 메모리 접근 패턴으로 인해 기존보다 훨씬 높은 메모리 대역폭, 더 큰 메모리 용량, 그리고 높은 에너지 효율을 요구한다. 본 학위논문은 각 워크로드의 특성에 맞춘 하드웨어 설계를 통해 딥러닝 응용에서의 메모리 집약적인 연산을 가속하는 중요한 문제를 해결하고자 한다.

먼저, LLM 추론을 가속화하기 위해 Duplex 라는 높은 연산 집약도 작업에 최적화된 xPU와 낮은 연산 집약도 작업을 효율적으로 처리할 수 있는 Logic-PIM을 하나의 장치 내에 통합한 하드웨어 구조를 제안한다. Duplex는 각 연산의 연산 집약도에 따라 적절한 처리 유닛을 동적으로 선택한다. 최신 high bandwidth memory (HBM) 기술을 활용하여, Logic-PIM은 DRAM과 logic die간의 고대역폭 통신을 위해 through-silicon via 의 수를 증가시키고, 연산 유닛을 logic die에 배치함으로써 낮은 수준의 연산 집약도 작업을 효과적으로 처리한다. Duplex는 기존 GPU 기반 시스템 대비 최대 2.67배의 처리량 향상과 42.0%의 에너지 절감과 평균 2.07배의 처리량 향상과 28.2%의 에너지 절감을 달성한다.

다음으로, 본 논문에서는 임베딩 레이어의 실행을 가속화하기 위한 확장 가능한 CXL 기반 Near-data processing (NDP) 아키텍처인 CLAY를 제안한다. 임베딩 레이어는 추천 시스템과 그래프 신경망에서 핵심적인 역할을 하는 레이어이다. 이를 가속하기 위한 dual in-line memory module (DIMM) 기반 NDP 아키텍처는 메모리 채널 개수의 제약과 multi-drop 버스 구조로 인해 성능이 제한되는 문제가 있다. CLAY는 이러한 한계를 극복하기 위해 연산 유닛과 DRAM으로 구성된 DRAM 클러스터를 구성하고 이를 보드 위에서 interconnect로 연결하였다. 메모리 모듈 간에 직접 통신을 가능하게 하고 높은 대역폭을 통해 데이터 전송 시간을 크게 줄였다. 또한, 명령어 전송에 필요한 대역폭을 줄이기 위해 packet duplication 기법을 제안했고, 임베딩 계층의 희소한 메모리 접근으로 인한 부하 불균형을 완화하기 위해 세분화된 주소 매핑을 설계하였다. CLAY는 CXL 스위치를 통해 다중 장치 구성으로 확장 가능하며, 매우 큰 임베딩 테이블도 효율적으로 처리할 수 있다. CLAY는 FeaNMP 및 G-NMP와 같은 최신 NDP 아키텍처 대비 추천 시스템과 그래프 신경망에서 각각 최대 1.87배와 2.77배의 성능 향상을 달성하였다.

본 논문은 memory-intensive한 딥러닝 애플리케이션에서 발생하는 성능 병목을 해결하기 위해서는 메모리 근처에 연산기를 배치하고 워크로드 특성을 이용하여 구조를 최적화하는 설계가 필수적임을 보여준다.

목차 (Table of Contents)

• 1 Introduction 1
• 1.1 Purpose of Research 1
• 1.2 Research Contribution 4
• 2 Duplex: A Device for Large Language Models with Mixture of Experts, Grouped Query Attention, and Continuous Batching 6
• 2.1 Background 6
• 2.1.1 Structure of Large Language Models (LLMs) 6
• 2.1.2 Mixture of Experts and Grouped-Query Attention 8
• 2.1.3 LLM Inference with Continuous Batching 9
• 2.1.4 High Bandwidth Memory (HBM) 11
• 2.2 Computational Analysis 12
• 2.2.1 Computational Analysis of MoE and Attention Layers 13
• 2.2.2 Limitations of Heterogeneous Systems 14
• 2.3 Duplex: A Device for Efficient LLM Inference 16
• 2.3.1 Implementation of High Op/B Processors 16
• 2.3.2 Implementation of Low Op/B Processors 17
• 2.3.3 Microarchitecture of Logic-PIM 19
• 2.3.4 Duplex Architecture 21
• 2.3.5 Comparing Duplex with prior PIM architecture 22
• 2.4 End-to-end LLM inference using Duplex 23
• 2.4.1 Processing MoE and Attention Layers Using Logic-PIM 23
• 2.4.2 Expert and Attention Co-processing 24
• 2.4.3 Memory Allocation and Management 27
• 2.5 Experimental Setup 27
• 2.6 Evaluation 31
• 2.6.1 Throughput Improvement of Duplex 31
• 2.6.2 Latency Improvement of Duplex 33
• 2.6.3 Comparison with Bank-PIM Across Various LLMs 35
• 2.6.4 Energy Consumption and Power Analysis 36
• 2.6.5 Area Overhead 38
• 2.7 Discussion 38
• 2.7.1 Split Prefill and Decoding Node 38
• 2.7.2 Implications of Expert Skews on Expert Co-processing 39
• 2.7.3 KV Cache Migration and Recomputation 40
• 2.7.4 Hybrid Bonding 40
• 2.7.5 Multi-head Latent Attention 41
• 3 CLAY: CXL-based Scalable NDP Architecture Accelerating Embedding Layers 42
• 3.1 Background 42
• 3.1.1 DNNs with Embedding Layers 42
• 3.1.2 Compute eXpress Link (CXL) 44
• 3.1.3 Dual In-Line Memory Module vs. CXL 45
• 3.2 Limitations of DIMM-based NDP 46
• 3.2.1 DIMM-based NDP Architecture 46
• 3.2.2 Limitations of Prior Works 46
• 3.3 CLAY: Scalable NDP Architecture 49
• 3.3.1 Exploring NDP Design Space 49
• 3.3.2 Organization of the CLAY Architecture 52
• 3.3.3 Distributing Load Among Clusters 54
• 3.3.4 Address Mapping 56
• 3.3.5 Operational Flow of CLAY 58
• 3.4 Systems with CLAYs 59
• 3.4.1 Scaling CLAY and Packet Duplication 59
• 3.4.2 End-to-End Inference with CLAY 62
• 3.4.3 Data Coherence 63
• 3.5 Software Stack for CLAY 64
• 3.6 Experimental Setup 66
• 3.7 Evaluation 70
• 3.7.1 Execution Time Breakdown of CLAY 70
• 3.7.2 Comparison with Prior DIMM-based NDP Architectures 72
• 3.7.3 End-to-End Performance Evaluation 75
• 3.7.4 Energy, Power, and Area Analysis 76
• 3.8 Discussion 78
• 3.8.1 Why CXL 78
• 3.8.2 Page Management and Fragmentation 78
• 3.8.3 Concurrency For Multi-Process Environment 78
• 3.8.4 Retrieval-Augmented Generation 79
• 4 Related Work 80
• 5 Conclusion 83
• REFERENCES 85
• 국문초록 113