Accelerating Deep Neural Network Deployment Process via Quantized Training and Inference in Resource-Limited Scenarios = 자원 부족 상황에서의 양자화된 훈련과 추론을 통한 인공신경망 가속화

다국어 초록 (Multilingual Abstract)

With the rapid advancement of neural networks, their adoption across diverse domains and service infrastructures has significantly increased. In practical deployments, pre-trained deep neural networks (DNNs) are often fine-tuned to meet task-specific objectives and subsequently compressed to enable efficient execution on mobile or edge devices. However, not all users or developers have access to abundant computational resources, and such deployment processes frequently operate under constrained environments where both computational and data resources are limited. Accordingly, there is a growing need for a systematic methodology that enables the efficient adaptation and deployment of neural networks under resource-constrained conditions.

This dissertation investigates methods for neural network deployment in two primary aspects: fine-tuning and model compression. In the fine-tuning phase, the major limitation arises from the scarcity of high-performance GPUs, as modern DNNs demand substantial memory capacity and computational throughput. In the deployment phase, the principal limitation lies in the absence of calibration datasets required for accurate quantization. To address these challenges, this dissertation introduces two frameworks, FALQON and MimiQ, which respectively mitigate the fine-tuning inefficiency and data scarcity issues in resource-limited environments.

For the fine-tuning stage, this dissertation introduces FALQON, a framework that leverages FP8 quantization for LoRA-based fine-tuning while significantly reducing quantization overhead on consumer-level GPUs. Low-bit floating-point (FP) formats such as FP8 provide substantial acceleration and memory savings during model training owing to native hardware support on modern GPUs and NPUs. However, analysis reveals that FP8 quantization yields considerable speedup primarily for large-dimensional matrix multiplications, whereas quantization overhead dominates in low-rank adaptation (LoRA), which involves small-dimensional matrices for parameter-efficient fine-tuning of large language models (LLMs). To address this limitation, FALQON eliminates redundant quantization overhead by directly merging LoRA adapters into an FP8-quantized backbone during fine-tuning. The forward and backward computations for merged adapters are reformulated to further minimize overhead, and a row-wise proxy update mechanism is introduced to efficiently incorporate substantial updates into the quantized backbone. Experimental evaluations demonstrate that FALQON achieves approximately a threefold increase in training speed compared to existing quantized LoRA methods while maintaining comparable accuracy, offering a practical solution for efficient large-scale model fine-tuning.

For the deployment stage, this dissertation presents MimiQ, a data-free quantization framework tailored for vision transformer (ViT) architectures. Data-free quantization (DFQ) aims to construct a lightweight network from its full-precision counterpart without access to the original training data, often by utilizing synthetic samples. Although several DFQ methods have been proposed for ViTs, their performance degrades significantly under low-bit quantization settings. Examination of existing approaches reveals that synthetic samples frequently produce misaligned attention maps, whereas real samples exhibit strong alignment. Based on this observation, MimiQ enhances quantization performance by enforcing alignment of attention maps between synthetic and realistic representations. Specifically, synthetic data are generated by aligning head-wise attention outputs across spatial query patches, and head-wise structural attention distillation is applied to align the attention maps of the quantized model with those of its full-precision teacher. Experimental results demonstrate that MimiQ substantially outperforms prior DFQ methods, establishing a new state of the art for data-free quantization of ViTs.

Collectively, the proposed frameworks establish a unified methodology for efficient neural network adaptation and deployment under limited computational
and data resources. FALQON enables practical fine-tuning of large-scale models by eliminating quantization overhead in low-rank adaptation, while MimiQ
facilitates accurate deployment without access to original datasets through data-free quantization of vision transformers. Together, these contributions
address critical challenges spanning both the training and deployment phases of modern deep learning systems. The presented approaches advance the feasibility
of deploying high-performance neural networks on resource-constrained platforms, contributing to the broader goal of sustainable and accessible artificial
intelligence.

국문 초록 (Abstract)

신경망(Neural Network)의 급격한 발전으로 인해 다양한 분야와 서비스에서 인공지능 모델의 활용이 빠르게 확산되고 있다. 실제 서비스 배포 과정에서는 사전학습(Pre-trained)된 심층신경망(Deep Neural Network, DNN)을 특정 목적에 맞게 미세조정(Fine-tuning)한 뒤, 모바일이나 엣지 환경에서 효율적으로 실행할 수 있도록 모델을 경량화하는 과정이 수행된다. 그러나 모든 사용자나 개발자가 풍부한 연산 자원을 보유하고 있는 것은 아니며, 실제 배포 환경은 종종 연산 능력과 데이터 자원이 모두 제한된 상태에서 이루어진다. 이에 따라, 제한된 자원 하에서 뉴럴네트워크를 효율적으로 미세조정 및 배포할 수 있는 체계적인 방법론의 필요성이 점차 높아지고 있다.

본 논문은 자원 제약 환경에서의 신경망 배포를 미세조정 단계와 모델 경량화 단계의 두 측면에서 다룬다. 미세조정 단계에서는 대규모 DNN의 학습에 필요한 GPU 메모리 및 연산량이 매우 크기 때문에 고성능 GPU의 부족이 주요 제약으로 작용한다. 경량화 단계에서는 양자화(Quantization)를 위해 필요한 보정용 데이터셋의 부재가 정확도 저하의 원인이 된다. 이러한 문제를 해결하기 위하여, 본 논문에서는 각각의 제약을 극복하기 위한 두 가지 프레임워크인 FALQON과 MimiQ을 제안한다. FALQON은 제한된 GPU 환경에서의 효율적인 미세조정을, MimiQ은 데이터가 없는 환경에서의 정확한 모델 양자화를 가능하게 한다.

먼저, 미세조정 단계를 위한 FALQON은 LoRA 기반 미세조정 과정에 FP8 저정밀 부동소수점 연산을 적용하여 소비자 등급 GPU에서도 양자화 오버헤드를 크게 줄인다. FP8과 같은 저비트 부동소수점 형식은 현대 GPU 및 NPU의 하드웨어 지원을 통해 연산 속도 및 메모리 효율을 향상시킬 수 있다. 그러나 기존 분석에 따르면 FP8 양자화는 대규모 행렬 연산에서는 성능 향상을 제공하지만, LoRA와 같이 저차원 행렬 연산이 주를 이루는 경우에는 양자화 오버헤드가 전체 성능을 저하시킨다. 이에 본 논문에서는 LoRA 어댑터를 FP8 양자화된 모델에 직접 병합하여 불필요한 양자화 연산을 제거하고, 순전파 및 역전파 계산을 재정의하여 오버헤드를 최소화하였다. 또한, Row-wise Proxy Update 기법을 도입하여 효율적으로 가중치 업데이트를 반영하였다. 실험 결과, FALQON은 기존 양자화 LoRA 방법 대비 약 3배의 학습 속도 향상을 달성하면서도 유사한 정확도를 유지하였으며, 대규모 모델의 효율적인 미세조정을 위한 실질적인 해결책을 제시하였다.

다음으로, 배포 단계에서 제안된 MimiQ은 Vision Transformer(ViT) 아키텍처를 위한 데이터 없는 양자화(Data-Free Quantization, DFQ) 기법이다. DFQ는 원본 학습 데이터 없이 합성 데이터를 활용하여 경량 모델을 생성하는 기술로, 최근 다양한 접근법이 제안되어 왔다. 그러나 기존 방법들은 저비트 양자화 환경에서 성능이 급격히 저하되며, 특히 ViT 구조에서는 합성 데이터가 실제 데이터를 제대로 모사하지 못한다는 한계가 있다. 본 논문은 이러한 문제를 해결하기 위해, 합성 데이터의 어텐션 맵을 실제 데이터의 어텐션 분포와 정렬시키는 방식으로 데이터 분포를 일치시켰다. 구체적으로, 이미지 쿼리 패치 간의 헤드 단위 어텐션 출력을 정렬하여 합성 데이터를 생성하고, 양자화된 모델의 어텐션 맵이 원본 모델의 어텐션 맵의 구조적 특성을 모방하도록 Head-wise Structural Attention Distillation을 적용하였다. 실험 결과, MimiQ은 기존 데이터 없는 양자화 방법들을 큰 폭으로 능가하였으며, ViT 양자화 분야에서 새로운 성능 기준을 제시하였다.

FALQON과 MimiQ은 각각 학습 단계와 배포 단계에서의 제약을 해결함으로써, 본 논문은 자원 제약 환경에서도 효율적인 뉴럴네트워크 활용을 가능하게 하는 통합적 방법론을 구축하였다. FALQON은 저정밀 연산을 활용한 효율적 미세조정을, MimiQ은 원본 데이터 없이도 정확한 모델 양자화를 실현함으로써, 인공지능의 접근성과 지속가능성을 높이는 데 기여한다. 결과적으로 본 연구는 연산 및 데이터 자원의 제약 속에서도 고성능 인공지능 모델의 실용적 배포를 가능하게 하며, 지속가능하고 접근성이 높은 인공지능의 실현에 중요한 기반을 제공한다.

목차 (Table of Contents)

• Abstract i
• Chapter 1 Introduction 1
• 1.1 Motivation and Background 1
• 1.2 Research Challenges and Problem Definition 2
• 1.2.1 GPU Resource Constraints in Fine-Tuning 3
• 1.2.2 Dataset Scarcity in Quantization for Deployment 4
• 1.3 Dissertation Organization 5
• Chapter 2 FALQON: Accelerating LoRA Fine-tuning with Low-Bit Floating-Point Arithmetic 7
• 2.1 Introduction 7
• 2.2 Background 10
• 2.2.1 Low-Rank Adaptation 10
• 2.2.2 Low-Precision Floating-point Quantization 11
• 2.3 Related Work 12
• 2.3.1 Low-Rank Adaptation 12
• 2.3.2 Quantized Training with FP Datatypes 13
• 2.4 Preliminary Analysis 14
• 2.5 Proposed Methods 18
• 2.5.1 Melded LoRA: Merging Backbone and LoRA from the Start 19
• 2.5.2 Efficient Gradient Computation for Melded LoRA 20
• 2.5.3 Row-wise Updates of Quantized Weights using Proxy Buffer 23
• 2.5.4 Full Algorithm of FALQON 24
• 2.6 Evaluation 27
• 2.6.1 Experimental Settings 27
• 2.6.2 Comparison of Fine-tuning Efficiency and Scalability 28
• 2.6.3 Comparison with Quantized LoRA Frameworks 32
• 2.6.4 Comparison with FP Quantization Methods 35
• 2.6.5 Evaluation on Commonsense Reasoning Benchmark 35
• 2.7 Analysis 35
• 2.7.1 Breakdown Analysis of Quantized LoRA Fine-tuning 35
• 2.7.2 Analysis of Top-k Selection Overhead and Efficiency 37
• 2.7.3 Scalability and Efficiency of FALQON 38
• 2.7.4 Sensitivity Study 38
• 2.8 Discussion 41
• 2.8.1 Why Baseline Quantization of LoRA Adapters Is Difficult to Parallelize 41
• 2.8.2 Future Work 43
• Chapter 3 MimiQ: Low-Bit Data-Free Quantization of Vision Transformers with Encouraging Inter-Head Attention Similarity 45
• 3.1 Introduction 45
• 3.2 Background 49
• 3.2.1 ViT Architectures and Multi-Head Attention 49
• 3.2.2 Data-Free Quantization 50
• 3.3 Related Work 53
• 3.3.1 Vision Transformer Quantization 53
• 3.3.2 Data-Free Vision Transformer Quantization 53
• 3.4 Motivational Study 54
• 3.5 Proposed Method 58
• 3.5.1 Sample Synthesis with Inter-Head Similarity 58
• 3.5.2 Head-wise Structural Attention Distillation 60
• 3.6 Performance Evaluation 61
• 3.6.1 Experimental Settings 61
• 3.6.2 Comparison on Image Classification 63
• 3.6.3 Object Detection and Semantic Segmentation 63
• 3.7 Analysis 65
• 3.7.1 Sensitivity and Ablation Study 65
• 3.7.2 Inter-Head Attention Similarity Metrics 68
• 3.7.3 Computational Costs for Quantization 68
• 3.7.4 Sensitivity Analysis on Weight and Activation Quantization Bitwidths 70
• 3.7.5 Grad-CAM Analysis 71
• 3.7.6 More Visualization Results of Head-wise Attention Maps 71
• 3.8 Discussion 73
• 3.8.1 Adaptation to Real-Data ViT Quantization 73
• 3.8.2 Does MimiQ Threaten Privacy? 73
• 3.8.3 Applying MimiQ Distillation to Real-Data BERT Quantization 76
• 3.8.4 Future Work 77
• Chapter 4 Conclusion 84
• 초록 99