Analog In-memory Distance Computing for Accelerating Distance-based Algorithms = 거리 기반 알고리즘 가속을 위한 아날로그 인-메모리 디스턴스 컴퓨팅

다국어 초록 (Multilingual Abstract)

The rapid progress of deep learning is reshaping entire industries, and the emergence of generative models has further accelerated this transformation. This evolution has shifted the semiconductor landscape from central processing unit (CPU) centric to graphic processing unit (GPU) centric architectures and from compute centric systems to memory centric designs. At the same time, modern AI workloads increasingly rely on similarity evaluations between high dimensional embedding vectors, which exacerbate memory bandwidth and data movement bottlenecks in conventional GPU based systems. As a result, the prevailing GPU based deep learning paradigm still leaves substantial room for improvement in both energy and computational efficiency.
To mitigate such bottlenecks, in-memory computing (IMC) has emerged as a promising paradigm that physically collocates storage and computation within the same memory array. By executing core linear algebra operations, such as vector matrix multiplications (VMM), directly in memory, these architectures significantly reduce off-chip data movement and improve energy efficiency. However, most existing IMC approaches have been optimized for multiply accumulate (MAC) operations in dense neural network layers and do not directly address scalable and accurate implementations of distance evaluations between high dimensional embedding vectors.
In-memory distance computing (IMDC) offers a promising path forward by performing similarity calculations between embedding vectors (the core operation of contemporary distance-based algorithms) directly within memory. This approach exploits massive parallelism while minimizing data movement to external compute units, thereby enhancing overall computational efficiency.
Content addressable memory (CAM) provides a memory structure well suited for in-memory distance computing, and many researchers have sought to leverage it to accelerate various algorithms. The first part presents an InGaZnO (IGZO) thin film transistors (TFTs) dynamic random access memory (DRAM) based ternary content-addressable memory (TCAM) architecture that structurally overcomes key limitations of conventional CAM for accelerating Hamming distance and demonstrates parallel distance computation for binary vectors using this structure, showing that a wide range of Hamming distance-based algorithms can be accelerated.
The second part proposes a memory architecture based on IGZO TFTs and capacitive boosting that enables parallel computation of differentiable distance functions between analog vectors. Through differentiability and efficient in-memory search, the feasibility of adaptive representation learning is demonstrated.
The final part builds on the architecture proposed in the second part and introduces an area efficient in-memory distance computing device implemented with a complementary metal oxide semiconductor (CMOS) IGZO monolithic 3D integration process. Leveraging the fast write latency of charge-based devices, it is further shown that out-of-distribution detection algorithms can be accelerated, enabling their deployment in various real time processing applications.
Overall, this dissertation centers on enabling analog in-memory distance (AIMDC) computations that overcome the energy and bandwidth limitations of conventional digital processing. By developing memory structures and computing schemes that support efficient analog distance evaluation for high-dimensional embeddings, it aims to establish a scalable and energy efficient paradigm for distance-based algorithms in next-generation deep learning systems.

국문 초록 (Abstract)

딥러닝의 급격한 발전은 산업 전반을 재편하고 있으며, 생성형 모델의 등장은 이러한 변화를 더욱 가속하고 있다. 이러한 진화는 반도체 지형을 중앙처리장치중심에서 그래픽처리장치중심 아키텍처로, 그리고 연산 중심 시스템에서 메모리 중심 설계로 이동시키고 있다. 동시에, 현대 인공지능 워크로드는 고차원 임베딩 벡터 간 유사도 평가에 점점 더 많이 의존하고 있으며, 이는 기존 그래픽처리장치 기반 시스템에서 메모리 대역폭 및 데이터 이동과 관련된 병목을 더욱 심화시킨다. 그 결과, 현재의 그래픽처리장치 기반 딥러닝 패러다임은 에너지 및 연산 효율 측면에서 여전히 상당한 개선 여지를 남기고 있다.
이러한 병목을 완화하기 위한 유망한 방안으로, 인메모리 컴퓨팅 저장과 연산을 동일한 메모리 어레이 내에 물리적으로 공지하는 패러다임으로 주목받고 있다. 벡터-행렬 곱과 같은 핵심 선형대수 연산을 메모리 내에서 직접 수행함으로써, 인메모리컴퓨팅 아키텍처는 오프칩 데이터 이동을 크게 줄이고 에너지 효율을 향상시킬 수 있다. 그러나 기존 인메모리컴퓨팅 연구의 대부분은 조밀 신경망 계층에서의 곱–누산 연산 최적화에 초점을 두고 있으며, 고차원 임베딩 벡터 간 거리를 확장 가능하고 정확하게 구현하는 문제를 직접적으로 다루지 못하고 있다.
인메모리 디스턴스 컴퓨팅은 현대 거리 기반 알고리즘의 핵심 연산인 임베딩 벡터 간 유사도 계산을 메모리 내에서 직접 수행함으로써, 이러한 한계를 극복하기 위한 유망한 대안으로 부상하고 있다. 인메모리 디스턴스 컴퓨팅은 메모리 어레이 내의 대규모 병렬성을 활용하는 동시에 외부 연산 장치로의 데이터 이동을 최소화하여, 전체적인 연산 효율을 향상시킬 수 있다.
콘텐츠 주소형 메모리는 인메모리 디스턴스 컴퓨팅은에 적합한 메모리 구조를 제공하며, 이를 활용하여 다양한 알고리즘을 가속하고자 하는 시도가 오랫동안 이루어져 왔다. 본 논문의 첫 번째 파트에서는 InGaZnO박막 트랜지스터기반 동적 임의 접근 메모리구조를 이용한 3진 콘텐츠 주소형 메모리를 제안한다. 제안된 TCAM 아키텍처는 해밍 거리연산 가속을 위해 기존 CAM 구조가 갖는 주요 한계를 구조적으로 극복하며, 이 구조를 통해 이진 벡터에 대한 거리 연산을 병렬적으로 수행할 수 있음을 보임으로써, 다양한 해밍 거리 기반 알고리즘을 가속화할 수 있음을 입증한다.
두 번째 파트에서는 IGZO TFT와 커패시티브 부스팅기반한 메모리 아키텍처를 제안하며, 이를 통해 아날로그 벡터 간 미분 가능한 거리 함수를 병렬적으로 계산할 수 있음을 보인다. 제안된 구조는 미분 가능성을 바탕으로 효율적인 인메모리 서치를 지원하며, 이를 통해 적응적 표현 학습의 가능성을 검증한다.
마지막 파트에서는 두 번째 파트에서 제안된 아키텍처를 기반으로, 상보성 금속 산화막 반도체-IGZO 모놀리식 3차원 집적공정을 이용한 면적 효율적인 인메모리 디스턴스 컴퓨팅 소자를 제안한다. 전하 기반소자가 갖는 빠른 쓰기 지연을 활용하여 분포 외탐지 알고리즘을 가속할 수 있음을 보이며, 이를 통해 다양한 실시간 처리응용에 적용 가능함을 제시한다.
종합적으로, 본 논문은 기존 디지털 처리의 에너지 및 대역폭 한계를 극복하기 위한 아날로그 인메모리 디스턴스연산의 구현에 연구의 핵심을 둔다. 고차원 임베딩에 대한 효율적인 아날로그 거리 평가를 지원하는 메모리 구조 및 컴퓨팅 방식을 개발함으로써, 차세대 딥러닝 시스템에서 거리 기반 알고리즘을 위한 확장 가능하며 에너지 효율적인 새로운 컴퓨팅 패러다임을 제시하고자 한다.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• 1.1. Deep learning and computing architecture 1
• 1.2. In-memory computing and data similarity 4
• 1.3. Thesis overview 10
• Chapter 2. Accelerating Hamming distance with IGZO based TCAM 13
• 2.1. Introduction 13
• 2.2. Results and Discussions 19
• 2.2.1. IGZO DRAM TCAM Operation for Hamming Distance 19
• 2.2.2. Accelerating Few-Shot Learning on Omniglot Data Set 29
• 2.2.3. Accelerating KNN on Categorical Data Set 33
• 2.3. Conclusion 39
• Chapter 3. Representation learning with Analog In-Memory Distance Computing 41
• 3.1. Introduction 41
• 3.2. Results and Discussion 48
• 3.2.1. Analog Distance Computing Operation using the Analog Capacitive Unit Circuit 48
• 3.2.2. Analog In-Memory Search, Experimental Demonstration using the Analog Capacitive Unit 62
• 3.3. Conclusion 78
• Chapter 4. Energy Efficient Out-of-Distribution Detection with Monolithic Three-Dimensional-based Analog In-Memory Distance Computing 80
• 4.1. Introduction 80
• 4.2. Results and Discussion 87
• 4.2.1. Wildfire Surveillance System Architecture with Similarity Memory based Out-of-Distribution Detection Scheme 87
• 4.2.2. System Level Evaluation of Monolithic Three-Dimensional Similarity Memory for Out-of-Distribution Detection and Wildfire Surveillance Performance 94
• 4.2.3. Toward Sustainable Operation in Intermittent Power Environments 111
• 4.3. Conclusion 120
• Chapter 5. Conclusion 123
• Bibliography 128
• Abstract in Korean 141