엣지 디바이스를 위한 차세대 시퀀스 모델 최적화 및 가속기 구현 = Optimization and Accelerator Implementation of Next-Generation Sequence Models for Edge Devices

국문 초록 (Abstract)

최근 인공지능(AI) 분야는 Transformer 아키텍처를 중심으로 비약적인 발전을 이룩하였으나, 입력 길이의 제곱에 비례하는 O(n²) 연산 복잡도는 자원이 제한된 엣지 디바이스 적용에 치명적인 제약이 되고 있다. 이에 대한 대안으로 선형 복잡도 O(n)를 갖는 Mamba 모델이 주목받고 있지만, 핵심 연산인 SSM(State Space Model)의 순차적 데이터 의존성은 하드웨어 병렬화를 저해하는 새로운 병목으로 작용한다. 또한, 모델 내의 복잡한 비선형 연산들은 엣지 FPGA의 제한된 자원 내에서 효율적인 구현을 어렵게 만든다. 본 논문은 이러한 한계를 극복하기 위해, Mamba 모델에 특화된 FPGA 기반 AI 가속기 eMamba를 제안한다. 본 연구는 하드웨어-소프트웨어 공동 설계 방법론을 채택하여 다음과 같은 단계적 최적화를 수행하였다. 우선, 하드웨어 구현 효율성을 극대화하기 위해 근사-인식 신경망 구조 탐색을 선행하여, 하드웨어 제약 조건을 만족하면서도 목표 정확도를 유지하는 최적의 경량 모델 구조를 도출하고 설계의 기준으로 삼았다. 확정된 모델을 바탕으로 연산 복잡도가 높은 레이어 정규화를 하드웨어 친화적인 범위 정규화로 대체하고, 타이밍 위반 문제를 해결하기 위한 전용 나눗셈기를 설계하였다. 또한 SiLU 및 지수 함수와 같은 고비용 비선형 연산들을 정수 기반의 구간별 선형 근사로 변환하여 부동소수점 연산기를 제거하였다. 아울러 SSM 레이어의 순차적 병목을 해소하기 위해 4단계 내부 파이프라인 구조를 설계하여 임계 경로를 단축했다. 수치적 민감도가 높은 순환 경로에는 하이브리드 양자화 전략을 적용하여 비트 폭 폭발 문제를 방지하고 수치적 안정성을 확보하였다. 설계된 가속기를 AMD ZCU102 FPGA 플랫폼에 구현하여 MARS 데이터셋 기준으로 평가한 결과, 16.43μs의 초고속 추론 시간을 달성하였다. 이는 본 연구의 최적화가 적용되지 않은 Naïve Mamba 구현 대비 6.22배, ViT(Vision Transformer) 가속기 대비 4.95배 빠른 속도이다. 또한 Fashion-MNIST 데이터셋에서는 ViT 대비 19.9배 적은 파라미터로 더 높은 정확도를 달성하여 압도적인 효율성을 입증하였다. 결론적으로 본 연구는 차세대 시퀀스 모델인 Mamba의 이론적 효율성을 실제 엣지 하드웨어 환경에서 성공적으로 구현하였으며, 실시간성과 저전력 동작이 요구되는 엣지 AI 환경에 최적화된 가속기 설계 기술을 제시한다.

다국어 초록 (Multilingual Abstract)

Recent advances in artificial intelligence (AI) have been driven by the Transformer architecture, but its quadratic computational complexity O(n²) with respect to sequence length limits deployment on resource-constrained edge devices. The Mamba model, with linear complexity O(n), is a promising alternative; however, the sequential data dependency in its core state space model (SSM) operations forms a bottleneck to hardware parallelism, and complex nonlinearities further complicate edge FPGA implementation. To address these issues, this thesis proposes eMamba, an FPGA-based AI accelerator optimized for Mamba models using hardware–software co-design. Approximation-aware neural architecture search is first used to derive a lightweight model that satisfies hardware constraints while maintaining target accuracy. On this baseline, layer normalization is replaced with hardware-friendly range normalization, and a custom divider is introduced to resolve timing violations. Costly nonlinear operations such as SiLU and exponential functions are converted into integer piecewise linear approximations, effectively eliminating floating-point units. To mitigate the SSM sequential bottleneck, a 4-stage internal pipeline shortens the critical path, and a hybrid quantization strategy on numerically sensitive recurrent paths prevents bit-width explosion and ensures numerical stability. On an AMD ZCU102 FPGA, the eMamba accelerator achieves an inference time of 16.43μs on the MARS dataset, providing 6.22× speedup over a Naïve Mamba implementation and 4.95× over a Vision Transformer (ViT) accelerator. On the Fashion-MNIST dataset, eMamba attains higher accuracy than ViT with 19.9× fewer parameters, demonstrating its superior efficiency. Overall, this work translates the theoretical efficiency of the next-generation Mamba sequence model into practical edge hardware performance and presents an accelerator architecture tailored for real-time, low-power edge AI.

목차 (Table of Contents)

• 국문 요약 ⅰ
• Abstract ⅱ
• 목차 ⅲ
• 그림 목차 ⅴ
• 표 목차 ⅵ
• 1. 서론 1
• 1.1. 연구 배경 1
• 1.2. 연구 목표 3
• 1.3. 논문 구성 5
• 2. 관련 연구 6
• 2.1. Transformer 이후의 시퀀스 모델 6
• 2.2. Mamba 8
• 2.3. Mamba 기반 가속기 선행 연구 10
• 3. 가속기 하드웨어 구조 설계 11
• 3.1. eMamba 가속기 전체 구조 11
• 3.1.1. 설계 목표와 기본 원칙 12
• 3.1.2. 전체 데이터 흐름과 스트림 파이프라인 구조 13
• 3.1.3. 가속기 설계 프레임워크와 검증 절차 13
• 3.2. 가속기 설계를 위한 모델 구조 결정 15
• 3.3. 범위 정규화 유닛 설계 17
• 3.4. 비선형 연산의 구간별 선형 근사 19
• 3.4.1. 구간별 선형 근사 SiLU 19
• 3.4.2. 구간별 선형 근사 지수 함수 20
• 3.5. SSM 레이어 연산 구조 및 최적화 22
• 3.5.1. SSM 연산의 수학적 배경 및 데이터 흐름 22
• 3.5.2. 순차적 데이터 의존성 해결을 위한 내부 파이프라인 설계 23
• 3.5.3. 하드웨어 친화적 비선형 연산 최적화 23
• 3.6. 하이브리드 양자화 및 데이터 패스 설계 25
• 3.6.1. INT8 대칭형 균일 양자화 및 스케일 관리 25
• 3.6.2. SSM 레이어를 위한 하이브리드 재양자화 전략 25
• 3.7. 전체 시스템 파이프라인 아키텍처 27
• 4. 실험 결과 및 평가 29
• 4.1. 실험 환경 29
• 4.1.1. 데이터셋 구성 29
• 4.1.2. 비교 모델 및 구현 환경 30
• 4.2. 정확도 및 모델 크기 평가 31
• 4.3. 자원 사용량을 고려한 범위 정규화 설계 34
• 4.4. FPGA 성능 평가 37
• 4.5. 자원 사용량 분석 39
• 5. 결론 41
• 참고문헌 42