연합학습 성능 향상을 위한 분산 프레임워크 = (A) Distributed Framework for Scalable and High-Performance Federated Learning

국문 초록 (Abstract)

연합학습(Federated Learning, FL)은 분산된 환경에서 개별 참여자의 데이터를 중앙에 모으지 않고도 하나의 글로벌 모델을 학습할 수 있도록 하는 기법이다. 그러나 실제 FL 환경에서는 클라이언트 간 데이터 분포가 크게 상이한 non-IID 특성이 존재하며, 이로 인해 글로벌 모델의 성능이 크게 저하되는 문제가 발생한다. 이러한 문제를 해결하기 위해 개인화 연합학습(Personalized Federated Learning, PFL)이 제안되어, 클라이언트 클러스터링이나 모델 분리 등을 통해 각 참여자에게 적합한 모델을 제공하는 방안이 연구되어 왔다. 하지만 대부분의 PFL 기법은 클라이언트–서버 구조에 기반하고 있어 중앙 서버에 계산과 통신이 집중되는 병목 및 단일 장애점(single point of failure) 문제를 피하기 어렵고, 클라이언트의 개별 특성과 네트워크 이질성을 충분히 반영하지 못하는 한계가 있다. 이에 본 연구에서는 노드 수준에서 클러스터링을 수행하는 개인화 분산 연합학습 프레임워크인 P3P-Fed를 제안한다. 본 방법은 DHT 기반의 완전 분산 P2P 구조 위에서, 유사한 데이터 분포를 가진 노드들끼리 로컬 클러스터를 형성함으로써, 글로벌 수준의 클러스터링이 어려운 이질적(non-IID) 환경에서도 강건한 개인화를 달성한다. 또한 P3P-Fed는 일반화 성능과 개인화 성능 간의 균형을 유지하기 위해 부분적 모델 집계와 차등 학습률을 적용한 개인화 헤드 학습 전략을 도입한다. 실제 테스트베드에서 다양한 데이터 이질성 수준과 동적 참여 및 high-churn 환경을 포함한 여러 설정에서 성능을 검증한 결과, P3P-Fed는 모든 실험 조건에서 기존 비교 기법 대비 최대 8.64% 높은 정확도를 보였으며, 수렴 속도 또한 전 비교군 중 가장 빠른 것으로 나타났다.

목차 (Table of Contents)

• 제1장 서 론 1
• 1.1 연구 동기 1
• 1.2 주요 기여 5
• 제2장 이론적 배경 7
• 2.1 개인화 연합학습 (PFL) 기법 7
• 2.1.1 모델 분리 (Model Decoupling) 7
• 2.1.2 유사도 기반 집계 (Similarity-based Aggregation) 7
• 2.2 분산 연합학습 (DFL) 10
• 2.3 분산 해시 테이블 및 프로토콜 11
• 2.3.1 DHT (Distributed Hash Table) 11
• 2.3.2 CAN (Content Addressable Network) 12
• 제3장 P3P-Fed 14
• 3.1 전체 시스템 아키텍처 14
• 3.2 로컬 클러스터링 15
• 3.2.1 전역 클러스터링의 한계 15
• 3.2.2 Softmax 필터링 18
• 3.2.3 Push-Pull 전략 21
• 3.3 개인화 헤드 학습 23
• 3.3.1 차등 학습률 (Differential Learning Rate) 24
• 3.3.2 헤드 부분 집계 (Head Partial Aggregation) 25
• 제4장 실험 및 결과 27
• 4.1 실험 설정 27
• 4.1.1 시스템 구성 27
• 4.1.2 데이터 구성 27
• 4.1.3 구현 세부 사항 28
• 4.2 실험 결과 31
• 4.2.1 테스트 정확도 비교 31
• 4.2.2 동적 노드 환경 평가 37
• 4.2.3 High-Churn 환경 평가 39
• 제5장 결 론 41
• 참 고 문 헌 41
• ABSTRACT 49