LoRA 효율성 향상을 위한 파라미터 중요도 지표의 비교 분석 연구

국문 초록 (Abstract)

저랭크 적응(Low-Rank Adaptation, LoRA) 기법의 최적화는 각 계층의 상대적 중요도를 정확히 추정하는 능력에 크게 의존하지만 기존에 제안된 여러 중요도 측정 방식들에 대한 체계적인 비교 연구는 부족한 실정이다. 본 연구는 이러한 공백을 메우기 위해 LoRA 계층 중요도를 평가하는 여러 지표들에 대한 포괄적인 비교 실험을 수행하여 각 방법론의 실용적 가치를 검증하고자 한다.
이를 위해 본 연구는 먼저 'B-행렬 분산(B-matrix variance)'이라는 새롭고 효율적인 중요도 측정 지표를 제안한다. 기존의 기울기나 모델 출력 기반 방법들이 중요도 계산을 위해 추가적인 순전파 또는 역전파 과정을 요구하는 반면, 제안하는 지표는 LoRA의 고유한 구조적 특성(B-행렬의 영행렬 초기화)에 착안하여 추가적인 데이터 처리 과정 없이 파라미터 값만으로 중요도를 계산할 수 있다. 이러한 접근은 계산 비용을 절감하면서도 학습 과정에서 누적된 정보량을 효과적으로 반영하는 새로운 관점을 제시한다.
더 나아가 본 연구는 단일 지표에 의존하는 것의 잠재적 한계를 지적하고 여러 관점의 신호를 통합하는 앙상블(ensemble) 접근법의 가치를 함께 제안한다. 본 연구에서 제안한 B-행렬 분산과 기존의 기울기 및 출력 기반 지표들을 결합함으로써 특정 지표가 가질 수 있는 편향을 완화하고 보다 안정적이고 강건한 중요도 평가가 가능함을 보인다. GLUE 벤치마크를 사용한 실험 결과, 제안된 B-행렬 분산 지표는 단독으로도 기울기 및 출력 기반 지표들과 경쟁력 있는 성능을 보였다. 더 중요한 발견은 앙상블 방식에 대한 분석에서 나왔다. 기울기와 출력 기반 지표만을 결합했을 때는 때로 개별 지표보다 불안정한 성능을 보였으나 여기에 B-행렬 분산을 추가한 앙상블은 모든 경우에서 가장 안정적이고 우수한 성능을 달성했다. 이는 본 연구가 제안한 B-행렬 분산이 기존 지표들과는 다른 보완적인 정보를 제공하며 서로 다른 특성의 신호들을 종합하는 것이 강건한 최적화의 핵심임을 시사한다.

다국어 초록 (Multilingual Abstract)

The optimization of Low-Rank Adaptation (LoRA) critically depends on estimating layer importance, yet systematic comparisons of existing metrics remain limited. We propose and validate B-matrix variance, a simple yet effective metric for estimating LoRA layer importance that, unlike gradient- or output-based methods, exploits LoRA's architectural properties and incurs no additional data processing. Our experiments on the GLUE benchmark demonstrate that B-matrix variance performs competitively with more computationally intensive metrics. More importantly, we reveal the significant value of an ensemble approach. While combining only gradient- and output-based metrics sometimes led to instability, an ensemble incorporating B-matrix variance consistently achieved the most robust and superior performance. This suggests that B-matrix variance provides complementary signals that stabilize the optimization process. However, further correlation analyses on both encoder (RoBERTa) and decoder-only (Gemma) models reveal that the utility of importance metrics is highly context-dependent, with the optimal metric varying significantly with model architecture and task type. This underscores the critical need for principled, context-aware strategies in LoRA optimization.

목차 (Table of Contents)

• 제1장 서론 1
• 1.1. 대규모 언어 모델과 파라미터 효율적 미세조정 1
• 1.2. LoRA 최적화 연구 동향과 계층별 중요도의 역할 2
• 1.3. LoRA 중요도 측정을 위한 다양한 접근법과 본 연구의 제안 3
• 제2장 관련 연구 6
• 2.1. 파라미터 효율적 미세조정 (Parameter-Efficient Fine-Tuning) 6
• 2.2. LoRA의 효율성 최적화 연구 동향 8
• 2.3. 신경망에서의 파라미터 중요도 측정 연구 10
• 제3장 방법론 13
• 3.1. LoRA의 구조와 원리 13
• 3.2. LoRA 계층 중요도 측정을 위한 지표 정의 14
• 3.3. 중요도 지표 평가를 위한 실험 프레임워크 20
• 제4장 실험 및 결과 22
• 4.1. 실험 설정 22
• 4.2. 주요 결과: GLUE 벤치마크에서의 계층 공유 실험 27
• 4.3. 심층 분석: 중요도 점수와 성능 하락의 상관관계 34
• 제5장 결론 및 향후 연구 40
• 참고 문헌 43
• Abstract 49