다중 소스 도메인 환경에서 연합 도메인 일반화 성능 향상 연구

국문 초록 (Abstract)

연합학습을 사용하면 클라이언트의 데이터를 서버로 공유하지 않고 인공지능 모델을 학습 시킬 수 있다. 이와 같이 학습하게 되면 클라이언트의 데이터는 보호 받을 수 있다. 하지만 연합학습으로 훈련된 모델은 각각의 기기에서 데이터를 수집하기에 도메인이 다르게 되는데, 이와 같이 학습을 하면 보지 못한 도메인에서는 성능 저하를 겪을 수 있다. 하지만 기존의 방법을 이용하여 도메인 일반화을 하게 되면, 연합학습 상황에서는 소스 도메인의 성능이 떨어 질 수도 있다. 그렇기에 본 논문에서 우리는 보지 못한 도메인과 소스 도메인의 성능을 둘 다 올릴 수 있게 일반화 할 수 있는 연합학습 문제를 해결하는 연합학습에서의 다중 소스 도메인 일반화의 문제를 정의하고 해결한다. FedDE라는 새로운 방법을 통해, 서버에서는 데이터에 접근 하지 않고 도메인 정보가 담긴 데이터를 general하게 학습 할 수 있는 방법을 제안한다. FedDE는 각 레이어별 vector를 추가하여 Domain Information Weights를 생성 한 후, Domain Information Weights에는 도메인 정보를 학습 시키고 기존의 weight에는 general한 정보를 학습 시키도록 유도한다. 또한 적대적 학습의 판별 기능을 이용하여 판별자를 통해 각 클라이언트의 feature extractor를 글로벌 모델의 도메인을 따라갈 수 있게 일반화 한 후, 일반화된 모델을 앙상블을 적용하여 소스 도메인과 보지 못한 도메인을 둘 다 잘할 수 있는 연합 다중 소스 도메인 일반화를 하게 된다. 다양한 데이터셋에 대한 광범위한 실험을 통해 FedDE가 소스 도메인과 보지 못한 도메인에서 기존의 기법에 비해 월등한 성능과 효율성을 보여주었다.

다국어 초록 (Multilingual Abstract)

Federated learning (FL) allows AI models to be trained without sharing the client's data to the central server. Most federated learning approaches were developed with an assumption that all clients have similar data distributions. However, the assumption is not generally acceptable. Most clients collect data samples in different environments, which means that each client may have a dataset from different domain. Since clients do not share their data, it is hard to build up the central model which can generate multi-source domains by previous FL approaches.
We try to solve this problem by separate learning of common features of all clients from local features of clients.
We propose Federated Discriminative Ensemble (FedDE) to generalize multi-source domains in federated learning. The framework of our approach is similar to federated averaging.
However, client models are composed of two parts: a common model and a local modifier. The common model parts are sent to the server and averaged. Each client has their own local modifier which are combined with the common model in each client, but is not sent to the server. Clients train both parts using their own datasets with adversarial training, so that their common part is not much updated. Through this mechanism, we can effectively separate common features from client dependent feature, and generate the model which can increase the performance of both unseen domains and each source domains.
Through extensive experiments on various datasets, FedDE shows superior performance and efficiency compared to previous methods in the unseen and source domains.

목차 (Table of Contents)

• 목차
• 제1장 서론.................................................................................1
• 1. 연구 목적 및 배경....................................................................................................................1
• 2. 구성...............................................................................................................................................5
• 제2장 관련 연구........................................................................6
• 1. 연합학습......................................................................................................................................6
• 2. 도메인 일반화............................................................................................................................9
• 제3장 제안 기법.......................................................................11
• 1. 연합 도메인 일반화의 문제.................................................................................................11
• 2. 기법의 동기..............................................................................................................................12
• 3. 훈련 과정..................................................................................................................................14
• 4. 추론 과정..................................................................................................................................21
• 제4장 실험 및 결과.................................................................23
• 1. 실험 환경..................................................................................................................................23
• 2. 보지 못한 도메인 실험 결과...............................................................................................25
• 3. 소스 도메인 실험 결과.........................................................................................................27
• 3. Non-IID 실험 결과................................................................................................................29
• 4. 종류별 실험..............................................................................................................................31
• 제5장 결론...............................................................................36