Curriculum guided personalized subgraph federated learning|RISS 상세보기

다국어 초록 (Multilingual Abstract)

Subgraph Federated Learning (FL) trains Graph Neural Networks (GNNs) on many private subgraphs, yet the large differences between these subgraphs—data heterogeneity—make learning difficult. To mitigate this heterogeneity, weighted model aggregation personalizes each local GNN by assigning larger weights to parameters from clients with similar subgraph characteristics inferred from their current model states. Concretely, the server compares privacy-preserving model indicators instead of raw subgraph data, builds a client similarity matrix, and scales the aggregation so that clients judged more alike receive proportionally larger weights in each other’s update. However, the sparse and biased subgraphs held by each client often trigger rapid overfitting, causing the estimated client similarity matrix to stagnate or even collapse. As a result, aggregation loses effectiveness as clients reinforce their own biases instead of exploiting diverse knowledge otherwise available. To this end, we propose a novel personalized subgraph FL framework called Curriculum guided personalized sUbgraph Federated Learning (CUFL). On the client side, CUFL adopts Curriculum Learning (CL) that adaptively selects edges for training according to their reconstruction scores, exposing each GNN first to easier, generic cross-client substructures and only later to harder, client-specific ones. This paced exposure prevents early overfitting to biased patterns and enables gradual personalization. By regulating personalization, the curriculum also reshapes server aggregation from exchanging generic knowledge to propagating client-specific knowledge. Further, CUFL improves weighted aggregation by estimating client similarity using fine-grained structural indicators reconstructed on a random reference graph. Extensive experiments on six benchmark datasets confirm that CUFL achieves superior performance compared to relevant baselines. Code is available at https://github.com/Kang-Min-Ku/Curriculum-Guided-FL.git.

번역하기

국문 초록 (Abstract)

서브그래프 연합 학습 (Federated Learning, FL)은 여러 개의 비공개 서브그래프에 분산된 그래프 신경망 (Graph Neural Networks, GNN)을 공동 학습하지만, 서브그래프 간 데이터 이질성 (Data Heterogeneity)으로 인해 학습이 어렵다. 이 이질성을 완화하기 위해, 가중치 기반 모델 집계는 각 클라이언트의 현재 모델 상태에서 추정한 서브그래프 특성이 비슷한 클라이언트일수록 더 큰 가중치를 부여해 로컬 GNN을 개인화한다. 구체적으로, 서버는 원본 서브그래프 데이터를 공유하지 않고도 개인정보를 보호하는 모델 지표를 비교해 클라이언트 유사도 행렬을 만들고, 유사도가 높은 클라이언트끼리 서로의 업데이트에 더 큰 비중을 두도록 집계 규모를 조절한다. 그러나 클라이언트가 보유한 서브그래프는 희소하고 편향돼 있어 빠른 과적합을 유발하고, 그 결과 유사도 행렬이 정체되거나 붕괴될 수 있다. 이 경우 각 클라이언트는 다양한 지식을 흡수하지 못하고 자기 편향만 강화하게 되어 집계 효과가 사라진다.

이를 해결하기 위해 본 논문은 Curriculum Guided Personalized Federated Learning (CUFL)을 제안한다. 클라이언트 측에서는 커리큘럼 학습 (Curriculum Learning, CL)을 도입해 재구성 점수에 따라 학습에 사용할 엣지를 자동으로 선택한다. 먼저 쉬운 범용 구조를 GNN에 노출하고 이후 점진적으로 어려운, 클라이언트 특화 구조를 제공함으로써 초기 과적합을 억제하고 점진적 개인화를 가능하게 한다. 이렇게 개인화 정도를 조절함으로써, 서버 집계 역시 범용 지식을 주고받는 단계에서 클라이언트별 지식을 전파하는 단계로 자연스럽게 전환된다. 또한 CUFL은 무작위 참조 그래프를 재구성해 얻은 미세한 구조적 지표로 클라이언트 유사도를 추정함으로써 가중치 집계의 정밀도를 높였다. 6개 벤치마크 데이터셋에서의 광범위한 실험은 CUFL이 기존 방법보다 우수한 성능을 달성함을 확인한다. 코드는 다음 링크에서 제공된다 \url{https://github.com/Kang-Min-Ku/Curriculum-Guided-FL.git}.

번역하기

서브그래프 연합 학습 (Federated Learning, FL)은 여러 개의 비공개 서브그래프에 분산된 그래프 신경망 (Graph Neural Networks, GNN)을 공동 학습하지만, 서브그래프 간 데이터 이질성 (Data Heterogeneity)으...

목차 (Table of Contents)