Efficient Adaptation of Machine Learning Models under Resource Constraints = 자원 제약 환경에서의 기계학습 모델의 효율적 적응에 관한 연구

국문 초록 (Abstract)

현대의 기계학습 모델은 방대한 범용 데이터셋으로 사전 학습된 뒤, 사전 학습 당시의 조건과는 상당히 다른 경우가 많은, 다양하고 끊임없이 변화하는 환경에 배치된다. 따라서 사전 학습 이후 모델을 고정한 채 사용하는 것은 매우 취약하다. 배치 환경이 변하면 데이터 분포에 대한 모델의 암묵적 가정이 깨질 수 있고, 이는 성능 저하나 바람직하지 않은 행동으로 이어질 수 있기 때문이다. 이러한 문제는 모델의 적응, 즉 사전 학습된 모델을 목표 환경에서 계속해서 우수한 성능을 내도록 업데이트하는 과정의 필요성을 보여준다. 그러나 현실의 환경을 고려할 때, 이러한 적응은 엄격한 자원 제약 하에서 수행되어야 한다. 본 논문은 자원 제약 하에서의 효율적인 적응 방법을 연구하며, 이를 규정하는 세 가지 핵심 요인인 환경, 모델, 하드웨어에 초점을 맞춘다.

첫째, 목표 도메인이 지속적으로 변화하고, 목표 데이터에 대한 레이블을 얻기 어렵고, 이전 도메인으로부터 저장해 둘 수 있는 샘플 수가 제한적인 환경 기반 제약을 다룬다. 이러한 제약을 해결하기 위해 도메인 적응과 일반화를 상호 보완적으로 결합한 프레임워크인 Complementary Domain Adaptation and Generalization (CoDAG)을 제안한다. CoDAG는 서로 다른 목표를 지닌 두 가지 접근법을 상호 보완적으로 통합함으로써, 동적인 환경에서 전체적인 성능과 강건성을 향상시키는 시너지를 제공한다.


둘째, 대규모 파운데이션 모델을 전체 미세 조정하기에는 계산 비용이 지나치게 크다는 모델 기반 제약을 고려한다. 이를 위해 본 논문은 Parameter-efficient Fine-tuning with Column Space Projection (PiCa)를 제안한다. PiCa는 사전 학습된 가중치의 주성분 열 공간으로 그래디언트를 사영함으로써 적응을 위한 효과적인 귀납적 편향을 부여하고, 레이어간 간 가중치 공유 전략을 통해 파라미터 효율성을 한층 더 향상시킨다.


마지막으로, 엣지 디바이스에서의 적응 과정에서 최대 GPU 메모리 사용량이 치명적인 병목이 되는 하드웨어 기반 제약을 다룬다. 텍스트 기반 이미지 생성 확산 모델의 온디바이스 개인화를 위해, 본 논문은 Hollowed Net을 제안한다. Hollowed Net은 심층 레이어의 일부를 일시적으로 제거함으로써 학습 시 필요한 메모리 사용량을 추론 단계와 유사한 수준으로 낮추면서도, 성능을 유지할 수 있도록 한다.

다국어 초록 (Multilingual Abstract)

Modern machine learning models are pre-trained on large, generic datasets and then deployed in diverse, evolving environments that often differ substantially from their pre-training conditions. A model that remains frozen after pre-training is therefore fragile: once the deployment environment shifts, its implicit assumptions about the data distribution can break, leading to degraded performance or undesirable behavior. This motivates adaptation—updating a pre-trained model so that it continues to perform well in a target environment—yet such adaptation must operate under strict resource constraints. This thesis studies efficient adaptation under resource constraints and focuses on three key factors that drive them: environment, model, and hardware.

First, we address environment-driven constraints, where target domains continually shift, labels for target data are difficult to obtain, a limited number of samples are stored from previous domains. To tackle this setting, we introduce Complementary Domain Adaptation and Generalization (CoDAG), a framework that combines domain adaptation and generalization in a complementary manner, resulting in a synergistic process that enhances overall performance and robustness in dynamic environments.

Second, we consider model-driven constraints, where full fine-tuning of large foundation models is computationally prohibitive. We present Parameter-efficient Fine-tuning with Column Space Projection (PiCa), which projects gradients onto the principal column space of pre-trained weights as an effective inductive bias for adaptation and further enhance parameter efficiency through a cross-layer weight-sharing strategy.

Finally, we tackle hardware-driven constraints, where peak GPU memory is a critical bottleneck for adaptation on edge devices. For on-device personalization of text-to-image diffusion models, we introduce Hollowed Net, which temporarily removes a fraction of deep layers to reduce training memory to levels comparable to those required for inference, while maintaining competitive performance.

목차 (Table of Contents)

• Abstract i
• Contents iii
• List of Figures vii
• List of Tables x
• 1 Introduction 1
• 2 Background: Resource Constraints in Adaptation 3
• 2.1 Environment-Driven Constraints 4
• 2.2 Model-Driven Constraints 7
• 2.3 Hardware-Driven Constraints 9
• 3 Unsupervised Continual Adaptation in Dynamic Environments 12
• 3.1 Introduction 13
• 3.2 Related Work 17
• 3.3 Methodology 19
• 3.3.1 Unsupervised Continual Domain Shift Learning 19
• 3.3.2 CoDAG: Complementary Domain Adaptation and Generalization 21
• 3.4 Experiments 27
• 3.4.1 Effectiveness of the CoDAG Framework 29
• 3.4.2 Further Analysis 32
• 3.5 Conclusion 37
• 4 Parameter-Efficient Fine-Tuning of Large Foundation Models 40
• 4.1 Introduction 41
• 4.2 Related Work 44
• 4.3 Methodology 47
• 4.3.1 Fine-Tuning and Column Space Projection 48
• 4.3.2 Sequential Gradient Projection 51
• 4.3.3 PiCa: PEFT with Column Space Projection 52
• 4.4 Experiments 54
• 4.4.1 Experimental Settings 54
• 4.4.2 Results 55
• 4.4.3 Further Analysis 59
• 4.5 Conclusion 63
• 5 Memory-Efficient Personalization on Edge Devices 66
• 5.1 Introduction 67
• 5.2 Related Work 72
• 5.2.1 Efficient Personalization of T2I Diffusion Models 72
• 5.2.2 Fine-Tuning with Side Networks 73
• 5.2.3 Layer Pruning of Large Generative Models 74
• 5.3 Preliminaries 75
• 5.4 Methodology 76
• 5.4.1 Analysis of the LoRA Weight Changes per Block of U-Net 77
• 5.4.2 Hollowed Net 79
• 5.4.3 LoRA Personalization with Hollowed Net 80
• 5.5 Experiments 82
• 5.5.1 Experimental Settings 82
• 5.5.2 Results 83
• 5.5.3 Ablation Study on Fractions of Hollowed Layers 89
• 5.6 Conclusion 92
• 6 Conclusion 94
• A Additional Details and Results for Chapter 3 97
• A.1 Auxiliary Methods 97
• A.2 Experimental Settings 98
• A.3 Network Architecture 99
• A.4 Additional Experimental Results 99
• B Additional Details and Results for Chapter 4 105
• B.1 Preliminaries 105
• B.1.1 Notation 105
• B.1.2 Preliminary Results 106
• B.2 Proofs for Chapter 4 106
• B.2.1 Proof of Theorem 4.1 106
• B.2.2 Proof of Theorem 4.2 113
• B.3 Implementation Details and Additional Experiments 116
• B.3.1 Implementation Details 116
• B.3.2 Evidence from Large-Scale Models 119
• B.3.3 Commonsense Reasoning with Gemma-2B 121
• B.3.4 Experiments with Additional Baselines 121
• C Additional Details and Results for Chapter 5 125
• C.1 Experiments on Layer-Pruned Diffusion Models 125
• C.2 Architectural Details of Hollowed Net 127
• C.3 Experiments with Different Ranks 129
• C.4 Further Analysis on Computational Costs 129
• C.5 Experiments with SDXL 129
• Bibliography 136
• 초 록 163
• Acknowledgments 165