LLM 메모리 최적화를 위한 Activation 압축: Exponent/Mantissa 기반 접근 = Activation Compression for Memory Optimization in LLMs: An Exponent/Mantissa Based Approach

국문 초록 (Abstract)

최근 LLM의 크기가 가파르게 증가함에 따라 모델의 학습 과정에서
필요한 GPU 메모리도 크게 증가하고 있다. 특히 모델 학습 과정에서의
forward 단계에서 저장되는 activation의 크기가 GPU 메모리의 병목
현상을 일으키는데 주요 원인이 되기도 한다. 병목 현상을 해결하기
위해 기존의 exponent/mantissa 기반 activation 압축 방식을 통한
모델 학습 방법도 시도되었다. 하지만 기존의 exponent/mantissa 기반
압축 방식은 고정적인 exponent encoding, sparse activation 데이터
압축과 mantissa bit 할당의 비효율성 등의 한계를 가진다.
본 논문에서는 이를 해결하기 위해 activation의 특성을 최적으로
반영하는 새로운 exponent / mantissa 기반 activation 압축
프레임워크를 제안한다. Exponent를 손실없이 다양한 케이스로
구분하여 동적으로 압축하고 mantissa 압축 시 exponent의 정보를
고려하여 동적으로 할당함으로써 압축 효율을 극대화하였다.
다양한 LLM들에 대해 학습을 진행한 결과, 제안한 방식이 기존 방식
대비 exponent 압축 효율을 24%~78% 개선하였으며 전체적으로 2배
이상의 압축 비율을 달성하였다. 또한 학습과정에서 activation 메모리
사용량을 1.1~3.5배로 절감하면서도 fp32 학습 결과와 비슷한
수준의 perplexity와 accuracy를 달성하였고 일부 모델에서는 기존
방식 대비 0.1~2.0의 perplexity 향상을 확인하였다. 특히 BERT
모델에서 모델의 성능을 유지한 채 기존 방식 대비 약 25%의
activation memory 사용량을 줄일 수 있었다.

다국어 초록 (Multilingual Abstract)

Recently, as the size of LLMs grows rapidly, the GPU memory
required during the model training has also increased significantly. In
particular, the activation stored during forward propagation often
becomes a major source of GPU memory bottleneck. To address this,
prior study has explored activation compression techniques based on
exponent/mantissa approach. However, existing exponent /mantissa
based compression schemes suffer from limitations such as fixed
exponent encoding, inefficient handling of sparse activation data and
mantissa bit allocation.
This paper proposes a new exponent/mantissa based activation
compression framework that more effectively captures the inherent
characteristics of activation. The proposed method dynamically
compresses exponent in lossless manner by categorizing it into
multiple cases and maximizes compression efficiency by allocating
mantissa bits adaptively based on the exponent information.
Model Training has been conducted on various LLM models and it
demonstrates that the proposed method improves exponent
compression efficiency by 24%~78% compared to the existing
approach and achieves an overall compression ratio of 2. Also, it
reduces activation memory usage by 1.1~3.5x during training while
maintaining the perplexity and the accuracy comparable to FP32
training results and shows 0.1~2.0 improvement on the perplexity
over existing approach. Especially, training result of BERT model
shows that the proposed method reduces activation memory usage
by approximately 25% compared to the existing approach without
degrading the model performance.

목차 (Table of Contents)

• 제 1 장 서 론 1
• 제 1 절 연구의 배경 및 내용 1
• 제 2 절 논문의 구성 3
• 제 2 장 연구 배경 및 관련 연구 4
• 제 1 절 Large Language Model Training 4
• 제 2 절 저정밀도/혼합정밀도 Training 관련 연구 7
• 제 3 절 Memory-efficient Training 관련 연구 10
• 제 4 절 Distributed Training 관련 연구 12
• 제 5 절 Activation 압축 Training 관련 연구 14
• 제 3 장 연구 동기 18
• 제 1 절 Large Language Model Activation 특성 18
• 제 2 절 Exponent/Mantissa 기반 Activation 압축 21
• 제 4 장 구현 방식 24
• 제 1 절 Exponent 압축 24
• 제 2 절 Sign/Mantissa 압축 27
• 제 3 절 학습 프레임워크 구조 30
• 제 5 장 실험 결과 및 분석 40
• 제 1 절 실험 환경 및 구성 40
• 제 2 절 실험 결과 42
• 제 6 장 결 론 49
• 참고문헌 51
• Abstract 56