Leveraging Design Space Exploration for Hardware Acceleration of Neural Networks = 설계 공간 탐색을 통한 인공 신경망의 하드웨어 가속

국문 초록 (Abstract)

인공지능의 확산은 자율 주행, 고도화된 챗봇, 실사 이미지 및 비디오 생성 등 매우 성공적인 서비스의 발전을 촉진했습니다. 그러나 기반이 되는 딥러닝 모델의 복잡성과 크기가 지속적으로 증가하면서 엄청난 계산 및 메모리 오버헤드를 초래했습니다. 이 모델들이 더욱 커지고 복잡해짐에 따라, 프로세싱 파워에 대한 수요는 전통적인 범용 프로세서의 능력을 점차적으로 초과하고 있습니다. 결과적으로, 이러한 막대한 계산 요구 사항을 효율적으로 관리하고 강력한 AI 애플리케이션의 광범위한 배포를 가능하게 하기 위해 특수화된 하드웨어 가속의 필요성이 증대되고 있습니다.

하드웨어 가속은 현대 신경망의 중대한 계산 요구 사항을 해결하기 위한 핵심적인 접근 방식입니다. 그럼에도 불구하고, 효과적인 가속기 설계는 복잡한 최적화 문제를 야기하는데, 이는 성능이 하드웨어 제약 조건과 신경망 자체의 특정 속성 모두에 크게 의존하기 때문입니다. 가용 메모리 크기 및 프로세싱 요소(PE)의 수와 같은 요소들은 하드웨어 용량에 직접적인 제한을 부과합니다. 동시에, 레이어의 유형과 형태와 같은 신경망의 고유한 특성은 계산 워크로드의 변동성을 초래합니다. 따라서 대상 하드웨어와 애플리케이션의 각 고유한 조합은 성능 및 자원 활용도를 극대화하기 위해 해결되어야 하는 뚜렷한 최적화 과제를 제시합니다.

하드웨어 가속기를 설계하고 최적화하는 전통적이고 수동적인 접근 방식—일반적으로 상세한 신경망 분석, 수동적인 하드웨어 자원 할당, 그리고 휴리스틱 기반 매핑을 포함하는 방식—은 현대 신경망의 빠르고 다양한 애플리케이션 환경에 의해 근본적으로 도전을 받고 있습니다. 이러한 수동적 방법은 방대한 범위의 가능한 하드웨어 구성을 효율적으로 탐색하고 다양한 딥러닝 모델의 동적 요구에 적응하는 데 부적합함이 입증되었습니다.

이러한 한계를 극복하기 위해 설계 공간 탐색(Design Space Exploration, DSE)은 체계적이고 자동화된 솔루션을 제공합니다. DSE는 복잡하고 수동적인 하드웨어 설계 프로세스를 데이터 기반의 자동화된 최적화 과제로 전환하며, 가속기의 두 가지 주요 구성 요소인 하드웨어 아키텍처 공간과 매핑/데이터플로우 공간을 공동 탐색합니다. 하드웨어 공간은 PE 설계, 메모리 계층, 인터커넥트와 같은 매개변수들로 정의되는 반면 , 데이터플로우 공간은 타일링 계수 및 데이터 재사용과 같은 매개변수를 통해 DNN 연산이 하드웨어에서 실행되는 방식을 결정합니다. 이 방대한 조합적 환경을 탐색하기 위해 DSE는 통일된 하드웨어 및 워크로드 표현에 의존하며, 레이턴시, 에너지, 영역과 같은 핵심 메트릭을 빠르고 정확하게 예측하기 위한 분석적 비용 모델과 결합됩니다.

그러나 DSE는 도메인 특화 지식을 통합함으로써 그 적용 분야에 따라 추가적으로 최적화될 수 있습니다. 본 연구는 범용 기술을 넘어선 애플리케이션 특화 탐색 전략 개발의 필요성을 입증합니다. 이러한 최적화에는 도메인 특화 하드웨어 기술 채택 , 기존 연구의 제한된 설계 공간 확장, 멀티 데이터플로우 가속기를 위한 데이터플로우 유연성과 에너지/영역 효율성 간의 절충점 탐색 , 그리고 동형 암호화 신경망과 같은 복잡한 딥러닝 모델을 더 잘 처리하기 위한 설계 유연성 증대가 포함됩니다.

요약하자면, 본 논문은 애플리케이션 특화 최적화 전략을 개발함으로써 특수 AI 가속기를 위한 DSE의 효용성과 적용 가능성을 향상시키는 것을 목표로 합니다. 주요 기여는 신경망 가속의 특정하고 도전적인 영역에서의 한계를 극복하기 위해 DSE 방법론을 보강하는 데 있습니다. 첫째, 본 연구는 희소 텐서 계산의 내재된 복잡성을 해결하기 위해 희소 가속 기능에 초점을 맞춘 통일되고 일반화된 라이브러리를 제안하며, 이는 정확한 분석적 추정 및 이전보다 훨씬 큰 설계 공간 탐색을 가능하게 합니다. 둘째, 멀티-DNN 추론을 위한 새로운 DSE 기반 방법론을 도입하여, 최적의 데이터플로우 간 동적 전환과 관련된 오버헤드를 최적화하고 줄임으로써 전통적인 유연성-효율성 간의 절충 문제를 성공적으로 해결합니다. 마지막으로, 본 논문은 새로운 병렬 처리 매개변수 도입과 성능 병목 현상을 자동으로 식별하고 확장된 설계 공간을 줄이는 방법론을 통해 FPGA 기반 동형 암호 가속기의 유연성을 향상시킵니다

다국어 초록 (Multilingual Abstract)

The proliferation of artificial intelligence has catalyzed the development of highly successful services, including autonomous driving, advanced chatbots, and the generation of realistic multimedia. However, the continuous growth in the complexity and size of the underlying deep learning models has resulted in immense computational and memory overhead. As these models become larger and more intricate, the demand for processing power increasingly exceeds the capabilities of traditional general-purpose processors. Consequently, there is an escalating need for specialized hardware acceleration to efficiently manage these massive computational requirements and enable the widespread deployment of powerful AI applications.

Hardware acceleration is a critical approach for tackling the significant computational demands of modern neural networks. Nevertheless, designing effective accelerators poses a complex optimization problem, as performance is highly dependent on both hardware constraints and the specific properties of the neural network itself. Factors such as the available memory size and the number of processing elements (PEs) impose direct limitations on hardware capacity. Simultaneously, inherent characteristics of the neural network, like the type and shape of its layers, introduce variability in the computational workload. Therefore, each unique combination of target hardware and application presents a distinct optimization challenge that must be solved to maximize performance and resource utilization

The traditional, manual approach to designing and optimizing hardware accelerators—which typically involves detailed analysis, manual resource assignment, and heuristic-based mapping —is fundamentally challenged by the rapid and diverse application landscape of modern neural networks. This manual method proves inappropriate for efficiently exploring the vast range of possible hardware configurations and adapting to the dynamic needs of various deep neural network models.

To overcome these limitations, Design Space Exploration (DSE) offers a systematic and automated solution. DSE transforms the complex, manual hardware design process into a data-driven, automated optimization challenge by co-exploring the accelerator's two primary components: the hardware architecture space and the mapping/dataflow space. The hardware space is defined by parameters like PE design, memory hierarchy, and interconnect , while the dataflow space dictates how the DNN operations are executed through parameters like tiling factor and data reuse. To navigate this vast combinatorial landscape, DSE relies on a unified hardware and workload representation, coupled with fast, analytical cost models to quickly and accurately estimate key metrics such as latency, energy, and area.

However, DSE can be further optimized by incorporating domain-specific knowledge. This research demonstrates the necessity of developing application-specific exploration strategies that move beyond general-purpose techniques. Such optimizations include adopting domain-specific hardware techniques, expanding the limited design space of the existing works, exploring the trade-off between dataflow flexibility and energy/area efficiency for the multi-dataflow accelerators, and increasing design flexibility to better handle the complex deep learning models like homomorphically encrypted neural networks.

In summary, this thesis aims to advance the efficacy and applicability of DSE for specialized AI accelerators by developing application-specific optimization strategies. The primary contribution lies in augmenting DSE methodologies to overcome limitations in specific, challenging domains of neural network acceleration. First, the research addresses the inherent complexities of sparse tensor computation by proposing a unified and generalized library for sparse acceleration features, which enables accurate analytical estimation and exploration of a significantly larger design space than previously possible. Second, a novel DSE-driven methodology is introduced for multi-DNN inference, successfully resolving the traditional flexibility-efficiency trade-off by optimizing and reducing the overheads associated with dynamically switching between optimal dataflows. Finally, the thesis enhances the flexibility of FPGA-based Homomorphically Encrypted (HE) accelerators by introducing new parallelism parameters and a methodology to automatically identify performance bottlenecks and reduce the enlarged design space.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• Chapter 2. Background 6
• 2.1 Design Space Exploration (DSE) 6
• 2.1.1 Overview 6
• 2.1.2 Challenges 7
• Chapter 3. Sparse Data 9
• 3.1 Introduction 9
• 3.2 Related Works 13
• 3.2.1 Sparse Tensor Accelerators 13
• 3.2.2 Sparseloop 14
• 3.2.3 Limitations 16
• 3.3 Methodology 19
• 3.3.1 Overview 19
• 3.3.2 Library Support 20
• 3.4 Evaluation 29
• 3.4.1 Implementation 29
• 3.4.2 Modeling Diverse Sparse Features30
• 3.4.3 Estimation Accuracy 31
• 3.4.4 Limitations 33
• 3.5 Conclusion 35
• Chapter 4. Energy, Area Efficiency 36
• 4.1 Introduction 36
• 4.2 Background 39
• 4.2.1 DNN and Dataflow 39
• 4.2.2 Heterogeneous Dataflow Accelerator (HDA) 40
• 4.2.3 Fixed Dataflow Accelerators 41
• 4.2.4 Flexible Dataflow Accelerators 42
• 4.2.5 Adaptive Dataflow Accelerators 43
• 4.3 Design 44
• 4.3.1 Overview 44
• 4.3.2 Finding Candidate Operating Modes 45
• 4.3.3 Selecting Optimal Operating Modes 46
• 4.3.4 Minimizing Mode Transitions 48
• 4.3.5 Minimizing the Chip Area 48
• 4.4 Implementation 52
• 4.5 Evaluation 54
• 4.5.1 Workloads for Evaluation 54
• 4.5.2 Operating Modes for DNN workloads 55
• 4.5.3 Latency and Energy Evaluation 56
• 4.5.4 Effectiveness of Optimization Algorithms 57
• 4.6 Conclusion 60
• Chapter 5. HE Neural Networks 61
• 5.1 Introduction 61
• 5.2 Background 64
• 5.2.1 RNS-based CKKS 64
• 5.2.2 HE-CNN 66
• 5.2.3 Existing Works 66
• 5.3 Design 68
• 5.3.1 Design Parameters and Methodology Overview 68
• 5.3.2 Impact on Hardware Architecture 69
• 5.3.3 Fast Design Space Exploration 72
• 5.4 Evaluation 77
• 5.4.1 Target Network Models 77
• 5.4.2 HE Parameters 77
• 5.4.3 Performance Evaluation 78
• 5.5 Conclusion 84
• Chapter 6. CONCLUSION 85
• Abstract (In Korean) 98