Efficient On-Chip Trainable HNNs with SVD-Based Weight Transfer and Fine-Tuning in NOR-type DG FET Array = 특이값 분해 기반 전사와 미세조정 기반의 NOR형 듀얼 게이트 트랜지스터 온칩 학습 뉴럴 네트워크

다국어 초록 (Multilingual Abstract)

Recent advances in the field of artificial intelligence (AI) have brought significant changes across various fields, establishing a new technological standard. However, this progress demands considerable computational and energy resources, thereby accelerating research into neuromorphic systems as a promising approach for resource-efficient AI. In this regard, hardware neural networks (HNNs) that perform vector-matrix multiplication (VMM) within synapse arrays have attracted substantial attention. In particular, on-chip trainable HNNs are regarded as an effective method of compensating for performance degradation caused by synaptic device non-idealities, yet they remain relatively underexplored.
This dissertation presents a comprehensive framework for implementing on-chip trainable HNNs based on a NOR-type dual-gate field-effect transistor (DG FET) array. The proposed architecture achieves low-power operation through selective weight updates enabled by Fowler–Nordheim (FN) tunneling. Furthermore, its bidirectional VMM capability facilitates on-chip training without requiring a separate array for backpropagation, thereby simplifying the overall system architecture.
To further address the challenges of weight initialization and efficient learning in hardware, a novel weight transfer scheme based on the outer product form of Singular Value Decomposition (SVD) is proposed. This scheme is inherently compatible with the gradient descent-based fine-tuning algorithm, significantly reducing the latency of both the initial weight transfer and the subsequent training. Simulation results on Fashion-MNIST classification tasks validate the effectiveness of the proposed approach, demonstrating classification accuracy comparable to software-based networks while compensating for device-level non-idealities. Furthermore, the proposed system achieves more than 8.1 and 64 times improvement in energy efficiency and latency over systems based on conventional NOR-type flash arrays. These results demonstrate the potential of the NOR-type DG FET array as a promising solution for next-generation low-power, on-chip trainable HNNs.

국문 초록 (Abstract)

인공지능 분야의 급속한 발전은 다양한 분야 전반에 걸쳐 큰 변화를 가져오며 새로운 기술 표준을 확립하고 있다. 그러나 이러한 발전은 막대한 연산 및 에너지 자원을 요구하며, 이에 따라 자원 효율적 인공지능 구현을 위한 유망한 대안으로 뉴로모픽 시스템에 대한 연구가 가속화되고 있다. 이와 관련하여, 시냅스 어레이 내에서 벡터-행렬 곱을 수행하는 하드웨어 신경망이 큰 주목을 받고 있다. 특히 온-칩 학습 가능한 하드웨어 신경망은 시냅스 소자의 비이상성으로 인한 성능 저하를 보상하는 효과적인 방법으로 평가되지만, 아직까지 연구가 상대적으로 충분히 이루어지지 않았다.
본 학위논문은 NOR형 듀얼-게이트 전계효과 트랜지스터 어레이를 기반으로 온-칩 학습 가능한 하드웨어 신경망을 구현하기 위한 종합적 프레임워크를 제시한다. 제안하는 아키텍처는 Fowler–Nordheim 터널링을 이용한 선택적 가중치 업데이트를 통해 저전력 동작을 달성한다. 또한, 양방향 벡터-행렬 곱 기능을 통해 역전파를 위한 별도의 어레이 없이도 온-칩 학습을 수행할 수 있어, 전체 시스템 구조를 단순화한다.
하드웨어에서의 가중치 초기화 및 효율적 학습 문제를 추가적으로 해결하기 위해, 특이값 분해의 외적형태를 기반으로 한 새로운 가중치 전이 기법을 제안한다. 본 기법은 경사하강법 기반 미세조정 알고리즘과 본질적으로 호환되며, 초기 가중치 전이와 이후 학습 과정 모두에서 지연을 유의미하게 감소시킨다. 시뮬레이션 결과는 제안한 접근법의 유효성을 검증하며, 소자 수준 비이상성을 보상하면서도 소프트웨어 기반 신경망과 유사한 분류 정확도를 달성함을 보인다. 더 나아가, 제안된 시스템은 기존대비 에너지 효율과 지연 측면에서 각각 8.1배 및 64배 이상의 개선을 달성한다.

목차 (Table of Contents)

• Abstract i
• Contents iii
• List of Figures vii
• List of Tables xviii
• Chapter 1 Introduction 1
• 1.1 Hardware-Based Neural Network 1
• 1.2 Gradient Descent Algorithm 5
• 1.3 Array Structures of FET-based Synaptic Devices 7
• 1.4 Purpose of Research 11
• 1.5 Dissertation Outline 13
• Chapter 2 Dual-Gate Field Effect Transistor 15
• 2.1 Device Structure and Fabrication Process 15
• 2.2 Synaptic Characteristics of DG FET 19
• 2.2.1 Basic I-V Characteristics of DG FET 19
• 2.2.2 Program/Erase Characteristics of the DG FET 22
• 2.2.3 Characteristics of the NOR-type DG FET Array 30
• 2.3 Simulation Based on Manhattan Update Rule 36
• 2.3.1 On-Chip Trainable HNN Architecture 36
• 2.3.2 Voltage Bias Scheme for On-chip Trainable HNN 40
• 2.3.3 Simulation Results and Benchmarks 47
• Chapter 3 Efficient On-Chip Trainable HNN 54
• 3.1 Background 54
• 3.1.1 Limitations of Simple Update Method 54
• 3.1.2 Singular Value Decomposition 57
• 3.2 Pulse Scheme for Fully-Parallel Outer Product Calculation 62
• 3.3 Synaptic Characteristics for Proposed Method 66
• 3.3.1 LTP/LTD Characteristics with respect to Update Pulse Width 66
• 3.3.2 Device-to-Device Variation 68
• 3.3.3 Fully-Parallel Update Capabilities of DG FET array 70
• 3.3.4 Experimental Demonstration of SVD Transfer 71
• Chapter 4 Circuit Fabrication for Proposed Algorithm 74
• Chapter 5 High-Level Simulation Results 86
• 5.1 Evaluation of Proposed Method in terms of Accuracy 86
• 5.2 Evaluation of Proposed Method in terms of Latency 90
• 5.3 Evaluation of Proposed Method in terms of Energy 95
• Chapter 6 Conclusions 100
• Bibliography 103
• 초록 109
• List of Publications 111
• 감사의 글 114