(An) accelerator architecture for large language models with joint sparsity and quantization techniques

다국어 초록 (Multilingual Abstract)

Large Language Models (LLMs) have demonstrated unprecedented capabilities in text generation, translation, and summarization tasks. However, their deployment on resource-constrained systems remains challenging due to their large parameter sizes and high computational demands. To address this, we propose SPARQ, a specialized accelerator architecture that leverages both sparsity and quantization to optimize LLM inference. By integrating multiplyaccumulate units tailored for quantized operations and a systolic array architecture supporting N:M semi-structured sparsity, SPARQ significantly enhances area and energy efficiency with minimal impact on model quality, as demonstrated in prior work on GPTQ and SparseGPT. Our evaluations demonstrate that SPARQ achieves up to 1.53 times greater area efficiency and 1.58 times better energy efficiency compared to the baseline, particularly for larger models.

국문 초록 (Abstract)

대규모 언어모델(LLM, Large Language Model)은 텍스트 생성, 번역, 요약 등 의 다양한 작업에서 뛰어난 성능을 보여주고 있다. 그러나 이러한 모델은 막대한 파라미터 수와 연산 요구량으로 인해, 자원이 제한된 시스템에서의 추론 수행이 여전히 큰 도전 과제로 남아 있다. 본 연구에서는 이러한 문제를 해결하기 위해 희소성(sparsity)과 양자화(quantization) 기법을 동시에 활용하는 특화형 가속기 아키텍처 SPARQ를 제안한다. SPARQ는 양자화된 연산에 최적화된 곱-누산(MAC) 유닛과 N:M 반구조적 희소성을 지원하는 시스톨릭 어레이 구조를 통합함으로써, 모델 품질 저하를 최소화하면서도 높은 면적 효율성과 에너지 효율성을 달성한다. GPTQ 및 SparseGPT 기반의 기존 연구에서 검증된 품질을 유지하면서, SPARQ 는 특히 대규모 모델에서 기준 대비 최대 1.53배의 면적 효율 향상과 1.58배의 에너지 효율 향상을 보인다.

목차 (Table of Contents)

• 1. Introduction 1
• 2. Related Work 7
• 3. Limitations of the FIGNA Architecture 9
• 4. FP-INT MAC Units in MXU-I 13
• 5. MXU-SI Architecture Design 16
• 6. Evaluation 29
• 7. Conclusion 37
• References 38