SVD 기반 LoRA 가중치 병합을 이용한 대규모 언어 모델의 연속 학습 = SVD-based LoRA Weight Merging for Continual Learning of Large Language Models

국문 초록 (Abstract)

대규모 언어 모델은 다양한 자연어 처리 과제에서 높은 성능을 보이며 여러 응용 분야의 기반 모델로 활용되고 있다. 그러나 실제 환경에서는 하나의 모델이 시간의 흐름에 따라 새롭게 등장하는 추가 태스크들을 연속적으로 학습해야 하며, 이 과정에서 이전 태스크들에 대한 지식이 손상되어 성능이 급격히 하락하는 치명적 망각 문제가 발생한다. 이러한 문제를 해결하기 위해 본 연구에서는 단일 LoRA 어댑터 구조와 SVD를 활용한 연속 학습 프레임워크를 제안한다. 제안 프레임워크는 각 태스크를 하나의 LoRA 어댑터로 학습한 뒤, 학습이 완료되면 학습된 어댑터의 가중치 변화량을 백본 모델에 병합하고 다음 태스크 학습을 위해 어댑터를 다시 초기화한다. 이때 이전 태스크들의 가중치 변화량 행렬에 대해 SVD를 수행하여 이전 태스크들의 지식이 많이 반영된 주요 변화 방향을 파악하고, 이를 기반으로 병합 비율을 다르게 적용하는 동적 병합을 수행한다. 이를 통해 새로운 태스크의 정보를 백본 모델에 반영하는 과정에서 이전 태스크의 주요 지식이 과도하게 손상되는 문제를 완화할 수 있다. 또한 병합이 태스크 학습 이후에 수행된다는 점을 고려하여, 학습 과정에서도 이전 태스크들의 주요 지식을 급격히 손상시키지 않도록 하는 SVD 기반 주요 방향 보존 정규화를 함께 적용한다. 이를 통해 새로운 태스크를 학습할 때 이전 태스크들의 주요 변화 방향과 과하게 충돌하지 않도록 제약함으로써, 병합 이전 단계에서의 치명적 망각을 완화한다. 제안 프레임워크의 효과를 검증하기 위해 T5-Large, LLaMA2-7B 모델을 대상으로 Standard CL, Long Sequence 벤치마크에서 실험을 수행하여 비교 방법들보다 우수한 성능을 보였으며, 태스크 수가 증가하는 장기 연속 학습 환경에서도 강건함을 보이는 것을 확인하였다.

다국어 초록 (Multilingual Abstract)

Large language models have demonstrated strong performance across various natural language processing tasks and have been widely used as foundation models in many application domains. However, in real-world environments, a single model often needs to sequentially learn newly emerging tasks over time. During this process, the knowledge acquired from previous tasks can be damaged, leading to a significant performance degradation known as catastrophic forgetting.
To address this problem, this study proposes a continual learning framework that utilizes a single LoRA adapter structure and SVD（Singular Value Decomposition）. The proposed framework trains each task using only one LoRA adapter. After the training of each task is completed, the weight update matrix learned by the adapter is merged into the backbone model, and the adapter is reinitialized for the next task. In this process, SVD is applied to the current weight update matrix from previous tasks to identify the principal change directions in which the knowledge of previous tasks is highly reflected. Based on this information, dynamic merging is performed by applying different merging ratios. This allows the framework to alleviate excessive damage to the major knowledge of previous acquired knowledge when incorporating new task information into the backbone model.
In addition, considering that merging is performed after task training, SVD-based Principal Direction Preservation Regularization is also applied during the training process to prevent the major knowledge of previous tasks from being rapidly damaged. By constraining the new task learning process so that it does not excessively conflict with the major change directions of previous tasks, the proposed framework mitigates catastrophic forgetting before the merging stage. To evaluate the effectiveness of the proposed framework, experiments were conducted on the Standard CL Benchmark and Long Sequence Benchmark using T5-Large and LLaMA2-7B models. The experimental results show that the proposed framework outperforms comparison methods and remains robust in long-term continual learning environments where the number of tasks increases.

목차 (Table of Contents)

• 제1장 서 론 1
• 제2장 관련 연구 5
• 2.1 연속 학습 5
• 2.2 LoRA 6
• 2.3 기존 연속 학습 방법 8
• 2.3.1 정규화 기반 연속 학습 9
• 2.3.2 리허설 기반 연속 학습 11
• 2.3.3 아키텍처 기반 연속 학습 12
• 제3장 SVD 기반 연속 학습 프레임워크 14
• 3.1 문제 정의 14
• 3.2 프레임워크 전체 구조 15
• 3.3 단일 LoRA 병합 16
• 3.4 동적 병합 18
• 3.4.1 가중치 변화량 행렬에 대한 SVD 19
• 3.4.2 병합 계수 산출 20
• 3.4.3 병합 계수 적용 21
• 3.5 레이어별 병합 강도 조절 23
• 3.6 SVD 기반 주요 방향 보존 정규화 26
• 제4장 구현 및 실험 27
• 4.1 실험 설정 28
• 4.1.1 데이터셋 28
• 4.1.2 비교 방법 30
• 4.1.3 구현 세부사항 31
• 4.1.4 평가 지표 32
• 4.2 실험 결과 32
• 4.2.1 Standard CL 벤치마크 결과 32
• 4.2.2 Long Sequence 벤치마크 결과 34
• 4.3 Ablation 연구 35
• 4.3.1 구성 요소 분석 35
• 4.3.2 LoRA 어댑터 초기화 전략 비교 37
• 4.4 효율성 분석 38
• 제5장 결 론 39
• 참고문헌 41
• ABSTRACT 45