Efficient Training Algorithms for Deep Neural Networks: Reducing Memory Usage and Accelerating Training Speed = 뉴럴네트워크를 위한 효율적인 학습 알고리즘: 메모리 사용량 감소와 학습속도 가속화

다국어 초록 (Multilingual Abstract)

Deep neural networks have achieved capabilities comparable to or even surpassing human performance in various fields. This success is attributed to backpropagation, a learning rule commonly used to train deep neural networks. Backpropagation is an algorithm based on the chain rule that propagates errors backward, effectively adapting the weights in the model to minimize the loss. However, backpropagation entails significant training costs. First, it requires substantial training memory to store model states and activation memory. Second, it demands high computational costs for calculating activations during forward propagation and computing both input and weight gradients during backward propagation. Consequently, training deep neural networks often requires numerous expensive computing devices such as GPUs, and consumes considerable time and power. To address these challenges, various efficient training algorithms have been proposed, including parameter-efficient fine-tuning (PEFT), activation rematerialization, activation-compressed training, and layer dropping. This dissertation focuses on improving existing efficient training algorithms or proposing new optimization methods for training.
First, Auxiliary Activation Learning (AAL) is proposed to reduce activation memory without incurring additional training time. The proposed training algorithm adds auxiliary activations to the output activations during forward propagation and stores the auxiliary activations in memory instead of the actual activations for computing weight gradients. In contrast to existing activation memory-saving algorithms, such as activation rematerialization and activation-compressed training, AAL avoids additional processes like quantization, dequantization, or recalculation, thereby eliminating training time overhead for reducing activation memory. Furthermore, we theoretically prove that auxiliary activations can ensure the convergence of the loss under specific conditions. Two types of auxiliary activations that satisfy these conditions are proposed, achieving up to a 30% reduction in activation memory without compromising accuracy or introducing training time overhead in vision and text classification tasks.
Second, Averaged Low-Precision Activation for Memory-Efficient Training (ALAM) is proposed, a state-of-the-art (SOTA) activation-compressed training framework designed to significantly reduce activation memory without sacrificing training performance. ALAM introduces two key innovations: Average Quantization and a lightweight sensitivity calculation method. Average Quantization compresses activations into their group average values, theoretically minimizing gradient variance, and further quantizes these group average values, enabling high-quality activation compression with an effective precision of less than 1 bit while providing improved flexibility in bit allocation. Additionally, ALAM incorporates a cost-efficient sensitivity calculation algorithm based solely on the L2 norm of parameter gradients, substantially reducing the memory overhead typically associated with sensitivity analysis compared to the conventional activation-compressed training algorithm. Through these techniques, ALAM achieves up to a 10 times reduction in activation memory in large language models (LLMs) such as LLaMA-30B while maintaining comparable accuracy.
Third, Dropping Backward Propagation (DropBP) is proposed, a method aimed at reducing both computational costs and activation memory during training while maintaining accuracy. DropBP achieves this by randomly dropping layers during backward propagation, thereby reducing the floating-point operations (FLOPs) and activation memory associated with the dropped layers. Intuitively, DropBP can be understood as training shallow submodules consisting of undropped layers and skip connections. We found that these smaller submodules have a significant impact on gradients, enabling effective training of the entire deep neural network by focusing only on training these shallow submodules. Additionally, DropBP incorporates sensitivity-based drop rate allocation for each layer, ensuring stable training. DropBP demonstrates considerable advantages, including a 44% reduction in training time while achieving accuracy comparable to the baseline, a 1.5x faster convergence to the same perplexity, and the capability to train sequence lengths 6.2x larger on a single NVIDIA A100 GPU when fine-tuning large language models (LLMs) such as LLaMA2-70B. Furthermore, DropBP increases throughput by 79% on NVIDIA A100 GPUs and 117% on Intel Gaudi2 HPUs, establishing itself as a versatile and efficient approach for large-scale model training.
Fourth, Partial Connection Adaptation (PaCA) is proposed, a novel PEFT algorithm designed to significantly reduce training time and activation memory compared to existing methods such as Low-Rank Adaptation (LoRA). Previous PEFT algorithms process pretrained weights and adapters sequentially on GPUs, resulting in significant training time overhead. In contrast, PaCA fine-tunes randomly selected partial connections within the pretrained weights, eliminating the sequential processing overhead and accelerating training. Furthermore, by storing only partial activations instead of full activations for gradient computation, PaCA also reduces activation memory. Compared to LoRA, PaCA achieves a 22% reduction in training time and a 16% decrease in total memory usage while maintaining comparable accuracy during fine-tuning on the MMLU dataset and instruction tuning on the Oasst1 dataset. Additionally, PaCA supports quantization, enabling fine-tuning of large models such as LLaMA3.1-70B, facilitates training on sequences 23% longer, and improves throughput by 16% on both NVIDIA A100 and Intel Gaudi2 GPUs, highlighting its efficiency and scalability for large-scale fine-tuning.
All proposed algorithms have been implemented as an easy-to-integrate PyTorch library, allowing seamless integration into existing training codes. These algorithms can be applied to various objectives, such as training large models with limited resources, learning from long sequence data, and increasing training throughput. In addition, as each method is orthogonal, they can be combined to achieve further efficiency. For instance, applying both DropBP and PaCA simultaneously to maximize training speed resulted in a 56% reduction in training time and a 51% reduction in memory usage.

국문 초록 (Abstract)

딥 뉴럴 네트워크(Deep Neural Networks, DNN)는 다양한 분야에서 인간의 성능에 필적하거나 이를 초월하는 능력을 보여주었다. 이러한 성공은 주로 딥 뉴럴 네트워크를 훈련하기 위해 널리 사용되는 학습 규칙인 역전파(Backpropagation)에 기인한다. 역전파는 체인 룰에 기반한 알고리즘으로, 오류를 네트워크를 거슬러 전파하여 모델의 가중치를 효과적으로 조정하고 손실을 최소화한다. 그러나 역전파는 상당한 훈련 비용을 수반한다. 첫째, 모델 상태를 저장하기 위한 메모리와 활성화 메모리(Activation Memory)가 대규모로 필요하다. 둘째, 순전파(Forward Propagation) 동안 활성화를 계산하고, 역전파(Backward Propagation) 동안 입력 및 가중치의 그래디언트를 계산하기 위해 높은 계산 비용이 요구된다. 결과적으로 딥 뉴럴 네트워크를 훈련하려면 고가의 GPU와 같은 많은 고성능 컴퓨팅 장치가 필요하며, 상당한 시간과 전력을 소비한다. 이러한 문제를 해결하기 위해, 매개변수 효율적 미세 조정(Parameter-Efficient Fine-Tuning, PEFT), 활성화 재구성(Activation Rematerialization), 활성화 압축 훈련(Activation-Compressed Training), 계층 드롭핑(Layer Dropping) 등의 다양한 효율적인 훈련 알고리즘이 제안되었다. 본 논문은 기존의 효율적인 훈련 알고리즘을 개선하거나 새로운 최적화 기법을 제안하는 데 중점을 둔다.
첫째, 보조 활성화 학습(Auxiliary Activation Learning, AAL)은 추가적인 훈련 시간을 소모하지 않고 활성화 메모리를 줄이기 위해 제안되었다. 제안된 훈련 알고리즘은 순전파 동안 보조 활성화를 출력 활성화에 추가하고, 가중치 그래디언트를 계산하기 위해 실제 활성화 대신 보조 활성화를 메모리에 저장한다. 활성화 재구성 또는 활성화 압축 훈련과 같은 기존의 활성화 메모리 절감 알고리즘과 달리, AAL은 양자화, 비양자화, 또는 재계산과 같은 추가적인 과정을 피함으로써 활성화 메모리를 줄이는 데 소모되는 훈련 시간 오버헤드를 제거한다. 또한, 특정 조건에서 보조 활성화가 손실의 수렴을 보장할 수 있음을 이론적으로 증명한다. 이러한 조건을 만족하는 두 가지 보조 활성화를 제안하며, 이를 통해 정확도 손실 없이 최대 30%의 활성화 메모리 절감과 훈련 시간 오버헤드 없는 비전 및 텍스트 분류 작업에서의 효과를 입증한다.
둘째, 메모리 효율적 훈련을 위한 평균 저정밀도 활성화(Averaged Low-Precision Activation for Memory-Efficient Training, ALAM)는 훈련 성능을 희생하지 않고 활성화 메모리를 대폭 줄이는 최선의(State-of-the-Art) 활성화 압축 훈련 프레임워크이다. ALAM은 두 가지 주요 혁신을 도입한다. 첫째, 평균 양자화(Average Quantization)는 활성화를 그룹 평균 값으로 압축하여 그래디언트 분산을 이론적으로 최소화하며, 이 그룹 평균 값을 추가적으로 양자화하여 1비트 미만의 효과적인 정밀도로 높은 품질의 활성화 압축을 구현하고 비트 할당의 유연성을 제공한다. 둘째, ALAM은 가중치 그래디언트의 L2 노름만을 기반으로 하는 비용 효율적인 민감도 계산 알고리즘을 포함하여, 기존 활성화 압축 훈련 알고리즘에 비해 민감도 분석과 관련된 메모리 오버헤드를 크게 줄인다. 이러한 기술을 통해 ALAM은 LLaMA-30B와 같은 대규모 언어 모델에서 활성화 메모리를 최대 10 줄이면서도 유사한 정확도를 유지한다.
역전파 드롭핑(Dropping Backward Propagation, DropBP)은 훈련 중 계산 비용과 활성화 메모리를 줄이면서 정확도를 유지하기 위한 방법으로 제안되었다. DropBP는 역전파 동안 계층을 무작위로 드롭하여 드롭된 계층의 부동소수점 연산(FLOPs)과 활성화 메모리를 감소시킨다. 직관적으로, DropBP는 드롭되지 않은 계층과 스킵 연결(Skip Connection)으로 구성된 얕은 서브모듈을 훈련하는 것으로 이해할 수 있다. 이러한 작은 서브모듈은 그래디언트에 큰 영향을 미쳐, 네트워크 전체를 효과적으로 훈련할 수 있도록 한다. 또한, DropBP는 각 계층의 민감도를 기반으로 드롭율을 할당하는 민감도 기반 드롭율 할당(Sensitivity-Based Drop Rate Allocation)을 도입하여 안정적인 훈련을 보장한다. DropBP는 훈련 시간을 44% 단축하고 기준선과 유사한 정확도를 유지하며, LLaMA2-70B와 같은 대규모 언어 모델에서 동일한 Perplexity에 도달하는 시간을 1.5배 단축한다. 또한, DropBP는 NVIDIA A100 GPU에서 6.2배 더 긴 시퀀스 길이로 훈련이 가능하며, NVIDIA A100 GPU에서 79%, Intel Gaudi2 HPU에서 117%의 처리량 증가를 통해 대규모 모델 훈련에서의 효율성과 다양성을 입증한다.
부분 연결 적응(Partial Connection Adaptation, PaCA)는 기존의 Low-Rank Adaptation(LoRA)과 같은 방법에 비해 훈련 시간과 활성화 메모리를 대폭 줄이기 위해 설계된 새로운 PEFT 알고리즘이다. 이전의 PEFT 알고리즘은 GPU에서 사전 훈련된 가중치와 어댑터를 순차적으로 처리하여 훈련 시간 오버헤드가 발생한다. 반면, PaCA는 사전 훈련된 가중치 내에서 무작위로 선택된 부분 연결을 미세 조정하여 이러한 순차 처리 오버헤드를 제거하고 훈련을 가속화한다. 또한, 그래디언트 계산을 위해 전체 활성화 대신 부분 활성화만 저장함으로써 활성화 메모리를 줄인다. PaCA는 LoRA와 비교하여 훈련 시간을 22% 줄이고 총 메모리 사용량을 16% 줄이면서도 MMLU 데이터셋의 instruction tuning 및 Oasst1 데이터셋의 fine tuning에서 유사한 정확도를 유지한다. PaCA는 양자화를 지원하여 LLaMA3.1-70B와 같은 대규모 모델의 미세 조정을 가능하게 하고, 시퀀스 길이를 23% 더 길게 훈련할 수 있으며, NVIDIA A100 및 Intel Gaudi2 GPU에서 처리량을 16% 증가시켜 대규모 미세 조정의 효율성과 확장성을 강조한다.
제안된 모든 알고리즘은 기존의 훈련 코드에 손쉽게 통합할 수 있는 PyTorch 라이브러리로 구현되었다. 이러한 알고리즘은 제한된 자원으로 대규모 모델을 훈련하거나, 긴 시퀀스 데이터에서 학습하거나, 훈련 처리량을 증가시키는 다양한 목표에 적용할 수 있다. 또한, 각 방법은 상호 독립적이기 때문에 결합하여 더욱 효율성을 높일 수 있다. 예를 들어, DropBP와 PaCA를 동시에 적용하여 훈련 속도를 극대화한 결과, 훈련 시간이 56% 감소하고 메모리 사용량이 51% 감소하는 성과를 얻었다.

목차 (Table of Contents)

• Chapter 1 Introduction 1
• Section 1.1 Purpose of Research 1
• Section 1.2 Contents 4
• Chapter 2 AAL: Auxiliary Activation Learning for Reducing Activation Memory without Compromising Training Speed 7
• Section 2.1 Introduction 7
• Section 2.2 Background & Motivation 9
• Section 2.3 Methodology 10
• Subsection 2.3.1 Auxiliary Activation Learning 10
• Subsection 2.3.2 Convergence of Auxiliary Activation Learning 12
• Subsection 2.3.3 Constructing Auxiliary Activations 13
• Section 2.4 Experiments 15
• Subsection 2.4.1 Training ResNet 15
• Subsection 2.4.2 Training Transformer, ViT, and MLP-Mixer 19
• Subsection 2.4.3 Usability 21
• Section 2.5 Conclusion 23
• Section 2.6 Appendices 24
• Subsection 2.6.1 Proof of Theorem 24
• Subsection 2.6.2 Comparisons between Auxiliary Residual Activation and Auxiliary Sign Activation 26
• Subsection 2.6.3 Does Adding Auxiliary Activation Really Help? 27
• Subsection 2.6.4 Comparisons between Auxiliary Activation Learning and Other Memory Saving Algorithms 29
• Subsection 2.6.5 Maximum Batch Size and Training Time with Auxiliary Activation Learning 31
• Subsection 2.6.6 Experimental Details 31
• Chapter 3 ALAM: Averaged Low-Precision Activation for Reducing Activation Memory to Extremely Low-Precision 38
• Section 3.1 Introduction 38
• Section 3.2 Background & Motivation 41
• Subsection 3.2.1 Formulation 41
• Subsection 3.2.2 Convergence of Activation-Compressed Training 42
• Section 3.3 Methodology 43
• Subsection 3.3.1 Average Quantization for Generating Sub-1b Precision 43
• Subsection 3.3.2 GradNormVar for a Lightweight Sensitivity Calculation 46
• Subsection 3.3.3 ALAM: A New Activation-Compressed Training Framework Using Average Quantization and GradNormVar 48
• Section 3.4 Experiments 50
• Subsection 3.4.1 Test Classification 50
• Subsection 3.4.2 Large Language Models 52
• Subsection 3.4.3 Usability 54
• Section 3.5 Conclusion 55
• Section 3.6 Appendices 56
• Subsection 3.6.1 Proof of Theorem 56
• Subsection 3.6.2 Responses Generated by LLaMA2-7B fine-tuned using ALAM 63
• Subsection 3.6.3 Training Time of Activation-Compressed Training 64
• Subsection 3.6.4 Experimental Details 65
• Chapter 4 DropBP: Dropping Backward Propagation for Accelerating Fine-Tuning of Large Language Models 67
• Section 4.1 Introduction 67
• Section 4.2 Background & Motivation 70
• Section 4.3 Methodology 71
• Subsection 4.3.1 Dropping Backward Propagation 71
• Subsection 4.3.2 Sensitivity-Based Drop Rate Allocation 73
• Section 4.4 Experiments 74
• Subsection 4.4.1 Implementation and Settings 74
• Subsection 4.4.2 Main Results: Accuracy and Efficiency 76
• Subsection 4.4.3 Usability 78
• Subsection 4.4.4 Ablation Study 80
• Section 4.5 Related Works 83
• Section 4.6 Conclusion 84
• Section 4.7 Appendices 85
• Subsection 4.7.1 The Importance of Short Paths in Residual Networks 85
• Subsection 4.7.2 Theoretical FLOPs and Actual Training Time Using DropBP 86
• Subsection 4.7.3 Convergence Speed Up Using DropBP 89
• Subsection 4.7.4 Distribution of Drop Rates Determined by Sensitivity 91
• Subsection 4.7.5 Comparisons between Layer Dropping and DropBP on Fine-Tuning LLMs 91
• Subsection 4.7.6 Experimental Details 93
• Chapter 5 PaCA: Partial Connection Adaptation for Accelerating Parameter Efficient Fine-Tuning 94
• Section 5.1 Introduction 94
• Section 5.2 Background & Motivation 96
• Section 5.3 Methodology 100
• Subsection 5.3.1 PaCA: Partial Connection Adaptation 100
• Subsection 5.3.2 Convergence Analysis of PaCA 102
• Section 5.4 Experiments 103
• Subsection 5.4.1 Fine-Tuning for Specific Tasks 103
• Subsection 5.4.2 Instruction Tuning 105
• Subsection 5.4.3 QPaCA: Enhancements to QLoRA 106
• Subsection 5.4.4 Usability 107
• Section 5.5 Effect of Selection Strategy 109
• Section 5.6 Related Works 110
• Section 5.7 Conclusion 111
• Section 5.8 Appendices 112
• Subsection 5.8.1 Proof of Theorem 112
• Subsection 5.8.2 Implementation of PaCA 114
• Subsection 5.8.3 Applicability of PaCA to Other Architectures and Tasks 115
• Subsection 5.8.4 Experimental Details 117
• Chapter 6 Conclusion 120
• Section 6.1 Conclusion 120
• Section 6.2 Limitations and Future Works 122
• Abstract (In Korean) 149