연합 언어 모델에서의 효율성 및 강건성에 관한 연구 = A Study on the Efficiency and Robustness in Federated Language Models

다국어 초록 (Multilingual Abstract)

With the growing integration of large language models into distributed AI services, there is an increasing need to deploy them across decentralized environments while ensuring data privacy. Federated learning has emerged as a promising solution because it enables collaborative training without directly collecting raw user data at a central server, but applying large language models in this setting remains challenging due to their large parameter size, high computational cost, and vulnerability to backdoor attacks. In this paper, these issues are investigated from two perspectives: the efficiency of LoRA-based federated learning and the robustness of representative defense mechanisms. The analysis shows that LoRA provides an efficient training framework, while perturbation-based and screening-based defenses exhibit different robustness characteristics and a clear trade-off between defense effectiveness and computational overhead. These results suggest that the practical deployment of large language models in federated learning requires a careful balance between efficiency and security, and that mechanistic interpretability-based defenses should be explored as an important direction for future work.

목차 (Table of Contents)

• 제 1 장 서론 1
• 제 1 절 연구 필요성 1
• 제 2 절 연구 목적 및 연구 방법 4
• 제 3 절 논문의 구성 5
• 제 2 장 이론적 배경 6
• 제 1 절 Transformer 기반 언어 모델 6
• 제 2 절 연합학습 12
• 제 3 절 LoRA 기반 매개변수 효율적 미세조정 14
• 제 4 절 연합학습 환경에서의 백도어 공격 16
• 제 5 절 방어기법의 유형과 특성 18
• 제 3 장 효율성 분석 21
• 제 1 절 LoRA 기반 연합학습 구조 21
• 제 2 절 연합학습 대상 모델 및 평가 지표 22
• 제 3 절 효율성 실험 결과 분석 24
• 제 4 장 방어 기법 분석 25
• 제 1 절 방어 기법의 유형과 분석 범위 25
• 제 2 절 실험 구성 및 평가 지표 26
• 제 3 절 방어 기법별 성능 분석 29
• 제 5 장 결론 33
• 제 6 장 향후 연구 방향 36
• 제 1 절 기계적 해석 기반 분석의 필요성 36
• 제 2 절 Lens 기반 분석 37
• 제 3 절 Sparse Autoencoder 기반 분석 38
• 제 4 절 Probe 기반 분석 38
• 제 5 절 기계적 해석 기반 보안 분석의 의의와 전망 39
• 참고문헌 40