클라이언트의 서로 다른 학습 능력을 고려한 분산학습 알고리즘 연구 = A Study on Distributed Learning Algorithm for Heterogeneous Client Settings in Computing Capabilities

국문 초록 (Abstract)

본 논문에서는 서로 다른 학습 능력을 가진 클라이언트와 서버로 구성된 분산학습 환경을 고려한다. 클라이언트의 컴퓨팅 능력이 제한되고 그 능력이 서로 다른 경우, 많은 클라이언트가 학습에 참여할 수 있도록 서버의 학습 능력을 활용하는 분할 학습과 순서화된 드롭아웃(Ordered dropout) 방식을 결합한 분산학습 알고리즘을 제안한다. 이를 통해 클라이언트가 학습하는 클라이언트 모델의 크기가 서로 다르더라도 모두 분산학습에 참여하여 전역모델 성능 향상에 기여할 수 있음을 밝혔다. 기존에 제안된 ResNet50 모델을 통해 CIFAR-10 데이터셋에 대한이미지 분류를 수행하는 실험을 설계하였으며, 클라이언트의 수와 데이터셋의 분포에 따른 분류 성능을 확인하였다. 클라이언트의 컴퓨팅 능력이 서로 다른 상황을 가정하여 클라이언트마다 다른 크기의 클라이언트 모델을 학습하였을 때, 모든 클라이언트가 전역 모델 학습에 기여함을 보였다.

다국어 초록 (Multilingual Abstract)

In this paper, we address a distributed learning system with a server and clients with heterogeneous computational capabilities. We propose a new distributed learning algorithm that combines split learning with ordered dropout, enabling clients with limited and heterogeneous computing capabilities to participate in training. This approach allows all clients, even with different client-model sizes, to contribute to the improvement of the global model’s performance. We conduct experiments on image classification using ResNet50 on the CIFAR-10 dataset, examining classification performance given the number of clients and the distribution of the dataset. With heterogeneous client settings in computational capacities, simulation results demonstrate that all clients with various client-side model sizes effectively contribute to global model training.