Toward Enhancing the Multilingual Capabilities of Instruction-Tuned Large Language Models via Layer-Selective Parameter-Efficient Fine-Tuning = 파라미터 효율적 파인튜닝의 레이어 선별적 적용을 통한 인스트럭션 튜닝 모델의 다국어 능력 향상 연구

국문 초록 (Abstract)

현재의 거대 언어 모델(large language model)은 다국어 능력을 보유하나 여전히 영어 중심적인 특성을 보인다. 특히 언어 간의 성능 격차(language gap) 문제, 즉 영어를 비롯한 고자원 언어(high-resource language)에 비해 저자원 언어(low-resource language)에서의 모델 성능이 저조하다는 문제가 다국어 언어 모델이 직면한 한계로 지적되었다. 이에 대응하기 위하여 거대 언어 모델을 목표 언어로 훈련하는 여러 방법론이 제시되었으나 가용 자원의 제약이나 해석 가능성 측면에서 일반화에 어려움이 있었다.
이에 본 논문에서는 거대 언어 모델의 일부 레이어를 선별적으로 훈련하여 모델의 다국어 성능을 개선하고자 한다. 이 접근은 모델이 다국어 입력을 처리할 때 모델 계층 전반에 걸쳐 세 단계의 워크플로를 거친다는 암묵적 피벗 언어 가설(implicit pivot language hypothesis)에 기반한다. 동일 가설 기반의 선행 연구에서 일부 레이어를 선택적으로 훈련하여 모델의 다국어 성능을 향상하는 접근이 시도된 바 있으나, 모델의 실사용 환경 기준으로 해당 방법론의 효과가 충분히 검토되지 않았다는 점에서 한계가 있다. 이는 기존 연구들이 주로 베이스 모델(base model)을 대상으로 제한된 조건에서만 레이어를 선별하여 훈련하였으며 그 결과를 정량적 평가 중심으로 제시했기 때문이다. 이러한 공백은 다양한 태스크에서의 텍스트 생성 환경에 더 적합한 인스트럭션 튜닝 모델(instruction-tuned model)을 활용한 포괄적·실증적 연구의 필요성을 시사한다.
본 논문은 모델의 일부 레이어를 선별적으로 훈련하는 것이 다국어 능력을 개선하는지, 그리고 어떤 위치의 레이어가 다국어 능력 향상에 가장 크게 기여하는지를 검토한다. 그 결과, 파라미터 효율적 파인튜닝을 레이어 선별적으로 적용 시 전체 레이어를 대상으로 한 풀 파인튜닝(full fine-tuning)이나 파라미터 효율적 파인튜닝(parameter-efficient fine-tuning)에 비해 적은 자원으로도 성능 향상이 가능하였다. 성능 향상은 초기 레이어(early layer)를 중심으로 나타났으며, 이는 다양한 훈련 조건에서 대체로 일관되게 관찰되었다. 가설에서 가정되는 레이어별 기능을 심층적으로 검증하기 위해 정량·정성적 분석을 수행하였으며, 학습 전후에 초기 레이어와 후기 레이어(final layer)에서 상이한 변화 양상이 확인되었다. 이러한 결과는 초기 레이어가 주로 다국어 이해를 담당하고, 후기 레이어가 다국어 생성에 더 깊이 관여한다는 가설을 뒷받침한다.
본 연구의 주요 기여는 인스트럭션 튜닝(instruction tuning)에 레이어 선별적 훈련 방법론을 적용하여 선행 연구를 모델의 실제 사용 환경과 유사한 조건으로 확장하였고, 여러 훈련 조건에서 레이어 선별적 파인튜닝 방법론의 효과를 보다 정교하고 포괄적으로 분석하였으며, 정량적·정성적 분석을 결합하여 암묵적 피벗 언어 가설을 실증적으로 검증했다는 데 있다.

다국어 초록 (Multilingual Abstract)

Contemporary large language models (LLMs) exhibit multilingual capabilities; however, they remain predominantly English-centric. In particular, the language gap—the performance discrepancy between high-resource and low-resource languages—has been posed as one of the primary challenges confronted by multilingual large language models. Previous approaches tackle this issue by effectively adapting large language models to target languages, but this is often hindered by high resource consumption or limited interpretability.
This paper aims to enhance the multilingual capabilities of large language models by fine-tuning only a selected subset of layers. This approach is grounded in the implicit pivot language hypothesis, which posits that models process multilingual input through a three-stage workflow across model layers. Previous studies have applied layer-selective fine-tuning to enhance the multilingual performance of models; yet the efficacy of the methodology remains underexplored in practical usage scenarios. Specifically, the generalizability of prior studies is restricted since layer-selective fine-tuning is mostly applied to base models under limited configurations and relies mainly on quantitative evaluations. This gap highlights the need for further investigation using instruction-tuned models, which reflect practical text generation settings more thoroughly.
This paper examines whether layer-selective parameter-efficient fine-tuning improves multilingual capabilities and which layers of the model contribute the most effectively to such improvements. The results indicate that layer-selective parameter-efficient fine-tuning yields more effective and efficient improvement in the multilingual capabilities than updating all layers via full fine-tuning or parameter-efficient fine-tuning. Quantitative evaluations consistently exhibit performance gains in multilingual capabilities when fine-tuning early layers, compared to targeting final layers. We conduct additional quantitative and qualitative analysis to assess whether the hypothesized layer-wise functions in the implicit pivot hypothesis are empirically supported by our experimental results. The results demonstrate distinct patterns in behavioral changes after fine-tuning between early and final layers, which supports the hypothesis that early layers primarily handle multilingual understanding, whereas final layers are more involved in multilingual generation.
The main contributions of this work are as follows: (1) we extend layer-selective fine-tuning strategies to parameter-efficient instruction-following settings based on both quantitative and qualitative analyses; and (2) we empirically validate the implicit pivot language hypothesis by manifesting the alignment between the fine-tuned layers and their presumed functional roles in multilingual processing.

목차 (Table of Contents)

• Chapter 1. Introduction 1
• Chapter 2. Related Studies 5
• 2.1. Multilingual Alignment Strategies 5
• 2.1.1. Challenges in Enhancing Multilingual Capabilities of LLMs 5
• 2.1.2. Taxonomy of Multilingual Alignment Strategies Based on Parameter Updates and Training Stages 7
• 2.1.3. Taxonomy Based on the Strategies to Provide Target Language Information 9
• 2.1.4. Limitations of Prior Multilingual Alignment Approaches 10
• 2.2. Hypothesis on Multilingual Processing Mechanism of LLMs and Its Application 11
• 2.2.1. Implicit Pivot Language Hypothesis 11
• 2.2.2. Layer-selective Fine-tuning Strategies 14
• 2.2.3. Limitations of Existing Layer-selective Fine-tuning Strategies 17
• Chapter 3. Methodology 20
• 3.1. Purpose of Research 20
• 3.1.1. The Objective of the Research 20
• 3.1.2. The Scope of the Research 21
• 3.1.3. Task Definition 22
• 3.2. Dataset 24
• 3.2.1. Dataset Collection 24
• 3.2.2. Preprocessing 25
• 3.2.3. Design of Input-Output Language Combination 27
• 3.3. Training 30
• 3.3.1. Model Selection 30
• 3.3.2. Parameter-Efficient Fine-Tuning (PEFT) 31
• 3.3.3. Target Layer Configuration 32
• 3.3.4. Hyperparameters and Prompt Design 35
• 3.4. Summary 36
• Chapter 4. Evaluation 38
• 4.1. Quantitative Evaluation on Korean-specific and Cross-lingual Benchmarks 38
• 4.2. Visualization on the Impact of Training on Cross-lingual Performance 40
• 4.3. Qualitative Evaluation on Paraphrase Generation 43
• Chapter 5. Experiments and Analysis 46
• 5.1. Experimental Setup 46
• 5.2. Analysis of Quantitative Evaluation Result 49
• 5.2.1. Impact of Training Strategies on Performance 49
• 5.2.2. Impact of Target Layer Configuration on Performance 51
• 5.2.3 Impact of Input-Output Language Combination and Training Prompts on Performance 56
• 5.2.4. Impact of Training Epochs on Performance 58
• 5.3. Analysis of the Impact of Training on Cross-lingual Performance 63
• 5.4. Analysis of Qualitative Evaluation Result 69
• 5.4.1. Analysis via Semantic Similarity and Lexical Overlap 70
• 5.4.1.1. Comparison with the Original Sentences 72
• 5.4.1.2. Comparison with the Baseline Generation 73
• 5.4.2. Sample Review of Multilingual Generation Result 74
• 5.4.3. Analysis via Cumulative Log Probability 78
• Chapter 6. Conclusion 81
• Bibliography 83
• Abstract in Korean 92