연합학습 환경에서 에너지 효율적 개인화 및 일반화 역량 균형 방안 연구 = Energy-Efficient Federated Learning Framework for Personalization and Generalization

국문 초록 (Abstract)

연합 학습(FL)은 다양한 데이터셋에 걸친 탈중앙화 모델 학습을 가능하게 하여 인공지능(AI) 분야에 혁신을 가져왔으며, 이를 통해 개인 정보 보호 문제를 해결하였다. 그러나 전통적인 FL은 중앙 집중식 서버에 의존하여 지연 시간, 단일 실패점(single-point failures), 신뢰성 문제를 야기한다.
탈중앙 연합 학습(DFL)은 유망한 해결책으로 부상하였으나, 제한적인 클라이언트 상호작용으로 인해 최적의 정확도 및 수렴을 달성하는 데 어려움을 겪고 에너지 비효율성을 야기한다. 또한, DFL에서 AI 모델의 개인화와 일반화 사이의 균형을 맞추는 것은 여전히 복잡한 문제로 남아있다.
이러한 난제들을 해결하기 위해, 본 논문은 새로운 DFL 프레임워크를 제안한다. 본 연구에서 제안하는 DFL 프레임워크는 통신 효율적인 방식으로 일반화와 개인화의 균형을 맞추는 것을 목표로 한다. 전체 모델 교환에 의존하는 기존 DFL 접근 방식과 달리, 통신 오버헤드를 줄이고 모델 성능을 개선하기 위해 프록시 기반 아키텍처를 채택한다.
각 이동 단말(MD) 모델은 세 부분으로 나뉜다: 프라이빗 컴포넌트(private component), 프라이빗 분류기(private classifier), 프록시 컴포넌트(proxy component)이다. 프라이빗 분류기는 개인화를 지원하기 위해 로컬 데이터셋을 통해 학습되는 반면, 프록시 컴포넌트는 전체 모델을 공유하는 대신 공유 데이터셋을 통해 증류된 지식(distilled knowledge)을 교환하여 일반화를 촉진한다. 프라이빗 컴포넌트는 개인화와 일반화를 모두 지원하도록 균형 있게 학습되며, 이를 통해 프라이빗 분류기와 프록시 컴포넌트 모두에 유용한 출력 특징(output features)을 제공한다. 이 하이브리드 접근 방식은 충분히 학습된(seen) 클래스와 미학습(unseen) 된 클래스 데이터 샘플 모두에 대한 효과적인 적응을 가능하게 한다.
추론 과정에서 MD들은 확신도 수준에 따라 일반화된 모델과 개인화된 모델 사이에서 동적으로 선택하여 추론한다. 이러한 선택적 추론 구조는 다양한 데이터 시나리오에서 MD들이 견고한 추론 성능을 유지하도록 한다. MNIST, FMNIST, 그리고 CIFAR-10 데이터셋에 대한 실험 결과는 재언한 프레임워크가 지연 시간과 정확도 모두에서 기존 방법들보다 우수한 성능을 보임을 입증한다.

목차 (Table of Contents)

• 제1장 서 론 1
• 제2장 관련 연구 4
• 2.1 탈중앙 연합 학습 4
• 2.2 개인화 연합 학습 6
• 제3장 시스템 모델 8
• 3.1 제안한 DFL 프레임워크 8
• 3.2 학습 단계 11
• 3.3 추론 단계 13
• 제4장 지연 시간 및 효율성 분석 15
• 4.1 분석 모델 15
• 4.1.1 통신 지연 시간 (Communication Latency) 15
• 4.1.2 연산 지연 시간 (Computation Latency) 16
• 4.2 제안한 프레임워크의 효율성 분석 19
• 4.2.1 통신 효율성 분석 19
• 4.2.2 연산 효율성 분석 19
• 제5장 성능 평가 22
• 5.1 실험 환경 22
• 5.2 실험 결과 24
• 제6장 결 론 33
• 참고문헌 34
• ABSTRACT 38