Heterogeneous Learning Rates and Weight Fusion for Enhanced Image Classification Performance = 이미지 분류 성능 향상을 위한 이종 학습률 및 가중치 융합 연구

다국어 초록 (Multilingual Abstract)

This work proposes enhancing image classification performance by averaging weights from models trained via exploratory trajectory learning and local trajectory learning for initialization. Two models are independently trained, and their weights are averaged to form a new starting point for re-adaptive learning. This strategy leverages distinct optimization paths, guiding the model toward flatter loss regions that improve test accuracy. Experiments on CIFAR-10, CIFAR-100, and Tiny-ImageNet with ResNet, VGG, AlexNet, and ViT architectures show consistent improvements over baselines, with ResNet34 achieving a 2.92% gain on CIFAR-100. These findings demonstrate that the heterogeneous based weight fusion and re-adaptive learning strategy is an effective method for enhancing model performance without additional inference costs.

국문 초록 (Abstract)

본 연구는 탐색 궤적 학습과 국소 궤적 학습을 통해 각각 학습된 모델의 가중치를 평균화하여 새로운 초기 가중치로 활용함으로써 이미지 분류 모델의 일반화 성능을 향상시키는 방법을 제안한다. 상반된 궤적 조건에서 두 모델을 독립적으로 학습한 뒤, 그 가중치를 평균화하여 재적응 학습을 위한 출발점으로 삼는다. 이 전략은 서로 다른 최적화 경로의 장점을 결합하여 모델이 손실 지형 내 보다 평탄한 영역으로 수렴하도록 유도함으로써 일반화 성능을 강화한다. CIFAR-10, CIFAR-100 및 Tiny-ImageNet 데이터셋을 대상으로 ResNet, VGG, AlexNet, ViT 아키텍처에서 수행한 실험 결과, 모든 경우에서 기존 베이스라인 대비 일관된 성능 향상이 확인되었으며, 특히 ResNet34는 CIFAR-100에서 2.92%의 정확도 향상을 달성하였다. 이는 이종 궤적 기반의 가중치 융합 및 재적응 학습 전략이 추가적인 연산 비용 없이 모델의 성능을 향상시키는 효과적인 방법임을 입증한다.

목차 (Table of Contents)

• I. Introduction 1
• II. Related Work 7
• 2.1 Optimization Factors in Deep Learning 7
• 2.2 Weight Averaging and Model Fusion Strategies 9
• 2.3 Geometric Advantages of Trajectory Diversity 14
• III.Proposed Method 16
• 3.1 Setup 16
• 3.2 Dual Heterogeneous Trajectories and Weight Fusion 18
• 3.3 Algorithm Description 20
• IV. Experiments 23
• 4.1 Datasets 23
• 4.2 Experimental Model Architecture 28
• 4.3 Experimental Details 30
• 4.4 Configuration of Learning Rates and Training Strategy 30
• 4.5 Experimental Results 37
• 4.6 Comparative Analysis with Extended Training Budgets 40
• 4.7 Qualitative Analysis of Misclassification Patterns 43
• 4.8 Comparison with ensemble and Weight Averaging Baselines 50
• 4.9 Comparative Results 55
• V. Ablation Study 62
• 5.1 Sensitivity Analysis of the Fusion Ratio 62
• 5.2 Impact of Model Count on Performance 67
• VI. Discussion 71
• 6.1 Analysis of Results 71
• 6.2 Analysis from Loss Landscape Perspective 73
• VII.Conclusion 78
• References 81
• Abstract (In English) 84
• Abstract (In Korean) 85