Floating-point digital CIM with simplified FP alignment exploiting data distribution from ML batch normalization

다국어 초록 (Multilingual Abstract)

This paper proposes a Floating-Point (FP) Digital Compute-in-Memory (CIM) architecture with a simplified FP alignment unit designed for Multiply-And-Accumulate (MAC) operations in machine learning (ML) models. By leveraging the distribution characteristics of batch normalized data, where FP data is typically bounded within a narrow range, the proposed design eliminates the need for maximum exponent searching to align FP data during MAC operation. This simplification significantly reduces the complexity of the hardware, minimizes area overhead, and improves efficiency. The proposed FP CIM architecture is evaluated using the ResNet18 model with both the CIFAR-10 and CIFAR-100 datasets. For CIFAR-10, the inference accuracy showed only a 0.39% drop compared to the baseline. When evaluated with the more complex CIFAR-100 dataset, the proposed architecture maintained stable inference accuracy with an appropriate maximum exponent, under dataset-dependent exponent constraints. These results demonstrate that the proposed simplified FP alignment unit can effectively preserve inference performance while achieving substantial improvements in configurability, area efficiency, and energy consumption, achieving up to 25.33% energy improvement.

국문 초록 (Abstract)

본 논문에서는 머신러닝(ML) 모델의 곱셈-누산(Multiply-And-Accumulate, MAC) 연산을 위한 단순화된 부동소수점(Floating-Point, FP) 정렬 유닛을 갖춘 디지털 컴퓨트-인-메모리(Compute-in-Memory, CIM) 구조를 제안한다. 제안된 구조는 배치 정규화(Batch Normalization)된 데이터의 분포 특성을 활용하여, FP 데이터가 일반적으로 좁은 범위 내에 집중된다는 점을 기반으로 한다. 이를 통해 MAC 연산 과정에서 필요한 최대 지수(maximum exponent) 탐색 과정을 제거하여, 하드웨어 복잡도를 크게 줄이고 면적 오버헤드를 최소화하며 효율성을 향상시킨다. 제안된 FP CIM 구조는 ResNet18 모델과 CIFAR-10 데이터셋을 이용하여 검증하였다. CIFAR-10의 경우, 제안된 구조는 기준 모델 대비 0.39%의 미미한 정확도 저하만을 보였다. 또한, 복잡도가 높은 CIFAR-100 데이터셋에서도 최대 지수를 적절히 설정할 경우 안정적인 추론 정확도를 유지함을 확인하였다. 이러한 결과는 제안된 단순화된 FP 정렬 유닛이 구성 유연성, 면적 효율, 에너지 효율을 향상시키면서도 추론 성능을 효과적으로 보존할 수 있음을 보여준다. 특히, 제안된 구조는 기존 대비 최대 25.33%의 에너지 효율 향상을 달성하였다.

목차 (Table of Contents)

• 1. Introduction 1
• 2. Proposed FP CIM Architecture with Simplified FP Alignment 4
• 2.1. FP data distribution in Machine Learning 4
• 2.2. Batch Normalization and Affine parameters 14
• 2.3. Review of Prior FP CIM Approaches 20
• 2.4. FP CIM with a Simplified FP Alignment Unit 23
• 3. Evaluation Results 28
• 3.1. Accuracy Evaluation 28
• 3.2. Area and Power analysis 31
• 4. Conclusion 36
• References 38
• Appendix 43
• Korean Abstract 46