Non-IID 환경에서 클러스터 기반 하이퍼파라미터 최적화를 통한 연합학습 프레임워크

국문 초록 (Abstract)

연합학습은 개인정보를 보호하면서 분산된 데이터를 효율적으로 학습할 수 있는 새로운 패러다임이다. 그러나 각 클라이언트가 보유한 데이터가 서로 독립적이지 않고 동일하지 않은 분포를 따를 경우, 전역 모델의 성능이 심각하게 저하되는 문제가 발생한다. 이러한 이질성 문제를 완화하기 위해, 유사한 특성을 가진 클라이언트를 그룹으로 묶는 클러스터링 기반 연합학습이 제안되었다.
하지만 기존의 클러스터링 기반 연합학습 연구들은 클라이언트를 구분하는 기준으로 주로 모델 가중치의 유사성을 활용하였다. 이 방식은 데이터 분포가 명확히 구분되는 단순한 환경에서는 효과적일 수 있으나, 여러 클래스가 서로 중첩되어 나타나는 실제적인 비독립·비동일 환경에서는 한계가 뚜렷하다.
예를 들어 한 클라이언트가 숫자 7 데이터를 80% 가지고 나머지 20%는 숫자 1 데이터를 포함하고, 또 다른 클라이언트가 동일하게 숫자 7 데이터를 80% 가지고 나머지 20%는 숫자 3 데이터를 포함한다고 가정할 수 있다. 이 경우 두 클라이언트의 학습 과정은 모두 숫자 7 데이터의 영향을 강하게 받기 때문에 모델 가중치의 변화 방향이 거의 동일하게 나타난다.

따라서 기존의 클러스터링 기법은 두 클라이언트가 가진 본질적인 차이, 즉 한쪽은 숫자 1 데이터에, 다른 한쪽은 숫자 3 데이터에 특화되어 있다는 점을 구분하지 못하고 동일한 그룹으로 잘못 분류한다. 그 결과 두 클라이언트 모두에게 최적화되지 못한 모델이 학습되는 문제가 발생한다.
본 연구에서는 이러한 한계를 극복하기 위해 Fed-CO, 즉 Federated Clustering and Optimization 프레임워크를 제안한다. Fed-CO는 모델 가중치 대신 각 클라이언트의 학습률, 배치 크기, 손실값과 같은 학습 과정의 행동 정보를 새로운 특징 벡터로 사용한다.
이를 통해 DBSCAN 클러스터링이 기존 방법들이 구분하지 못했던 미세한 분포 차이를 감지할 수 있도록 하였다. 또한 Fed-CO는 각 클러스터에 대해 Optuna 프레임워크 기반의 독립적인 하이퍼파라미터 최적화를 수행하여 클러스터별 데이터 특성에 맞춘 학습을 가능하게 한다. 특히 기존 방식처럼 통계적 이상치를 단순히 제거하거나 임의로 병합하지 않고, 노이즈 승격 메커니즘을 통해 이들을 독립적인 클러스터로 격리하여 정보 손실 없이 개별 최적화를 수행하도록 설계하였다. 제안한 프레임워크의 성능을 검증하기 위해 MNIST, CIFAR-10, CIFAR-100 등 다양한 데이터셋을 디리클레 분포로 분할하여 실험을 수행하였다.
첫째, Fed-CO는 FedAvg, FedProx, FedAdam 등 기존의 집계 알고리즘과 비교했을 때, 특히 복잡한 데이터셋인 CIFAR-100에서 알파 값이 0.05일 때 최대 3.7%포인트의 성능 향상을 보여 클러스터 단위 하이퍼파라미터 최적화의 필요성을 입증하였다.
둘째, IFCA, FeSEM, FedGroup 등 기존의 클러스터링 기반 연합학습 기법과 비교한 결과, Fed-CO는 Non-IID 환경인 MNIST 데이터셋에서 알파 값이 0.05일 때 98.36%의 높은 정확도를 달성하였다. 이는 동일한 환경에서 49%에서 84% 수준의 성능을 보인 기존 기법들과 뚜렷한 대비를 이룬다.
마지막으로, 네 가지 추가적인 분석 실험을 통해 동적 클러스터링, 클러스터 단위 하이퍼파라미터 최적화, 노이즈 승격 등 Fed-CO의 핵심 설계 요소가 성능 향상과 학습 안정성에 필수적으로 기여함을 체계적으로 검증하였다.

결론적으로, 본 연구는 Non-IID 환경에서 학습 과정의 행동 정보를 활용한 동적 클러스터링과 자율적인 하이퍼파라미터 최적화를 통합함으로써, 연합학습의 안정성과 성능을 동시에 향상시킬 수 있는 새로운 프레임워크를 제시하였다는 점에서 의의가 있다.

목차 (Table of Contents)

• 제1장 서 론 13
• 1.1 연구의 배경 13
• 1.2 연구 필요성 및 목적 15
• 제2장 관련 연구 17
• 2.1 연합학습 17
• 2.1.1 연합학습 개념 17
• 2.1.2 연합학습 동향 17
• 2.2 연합학습 기본 알고리즘 18
• 2.3 연합학습의 Non-IID 환경 19
• 2.4 클러스터링 21
• 2.4.1 K-means 분할 기반 클러스터링 21
• 2.4.2 DBSCAN 밀도 기반 클러스터링 21
• 2.5 클러스터링 기반 연합 학습 22
• 2.5.1 FedGroup 23
• 2.5.2 FedSEM 23
• 2.5.3 IFCA 23
• 2.6 연합학습의 하이퍼파라미터 최적화 24
• 2.6.1 하이퍼파라미터 최적화 프레임워크 Optuna 24
• 제3장 프레임워크 아키텍처 26
• 3.1 제안 프레임워크 개요 26
• 3.1.1 제안 프레임워크 목적 함수 27
• 3.2 제안 프레임워크 절차 29
• 3.2.1 초기 라운드 절차 30
• 3.2.2 1단계 클라이언트 클러스터링 30
• 3.2.3 2단계 하이퍼파라미터 제안 및 로컬 학습 32
• 3.2.4 3단계 결과 보고 및 전역 모델 집계 32
• 3.3 클러스터별 하이퍼파라미터 최적화 절차 32
• 3.3.1 클러스터별 하이퍼파라미터 최적화 33
• 3.3.2 로컬 학습 진행 34
• 3.3.2 성능 피드백 34
• 3.4 클러스터링 및 노이즈 클라이언트 처리 35
• 3.4.1 클러스터링 주기적 실행 35
• 3.4.2 클러스터링 전 전처리 실행 36
• 3.4.3 노이즈 클라이언트 처리 메커니즘 36
• 3.4.4 새로운 스터디 생성 36
• 제4장 실험 및 결과 37
• 4.1 실험 환경 및 데이터 분포 37
• 4.2 사용된 프레임워크 38
• 4.3 실험 비교 설정 38
• 4.3.1 집계 알고리즘과의 비교 39
• 4.3.2 클러스터링 기반 연합학습과의 비교 41
• 4.4 구성 요소 분석 실험 44
• 4.4.1 동적 클러스터링 효과성 검증 44
• 4.4.2 클러스터 단위 하이퍼파라미터 필요성 검증 45
• 4.4.3 노이즈 클라이언트 전략 검증 46
• 4.4.4 클라이언트 규모에 따른 확장성 평가 47
• 제5장 결론 48
• 참고문헌 51
• ABSTRACT 57