데이터 프라이버시를 중시하는 분산 학습 방법인 연합 학습(federated learning)은, 클라이언트로부터 로컬 지식을 집계하여 모델을 학습한다. 각 클라이언트는 자체 로컬 데이터셋을 수집하고 이를 활용하여 로컬 모델을 학습한다. 연결된 연합 학습 네트워크 내의 로컬 모델은 서버로 업로드된다. 서버에서는 로컬 모델들을 집계하여 전역 모델을 형성한다. 이 과정에서 어느 클라이언트에서도 로컬 데이터가 전송되거나 외부로 반출되지 않는다. 이러한 절차는 데이터 프라이버시를 보호할 수 있으나, 연합 학습은 중앙 집중식 학습보다 최악의 경우(example forgetting) 문제를 더 심각하게 나타낼 수 있다. 이 문제는 테스트 성능 저하로 나타난다. 본 연구에서는 연합 가중 평균(federated weighted averaging, FedWAvg)을 제안한다. FedWAvg는 각 클라이언트에서 잊혀지기 쉬운 예시(forgettable examples)를 식별하고, 가중치를 통해 로컬 모델의 균형을 재조정하는 데 그 정보를 활용한다. 잊혀지기 쉬운 예시가 더 많은 클라이언트를 더 높은 비중으로 가중함으로써, 해당 클라이언트가 더 잘 대표되며 전역 모델이 통상적으로 간과되던 클라이언트들로부터 더 많은 지식을 습득할 수 있다. FedWAvg는 예시 망각 문제를 완화하고 더 나은 성능을 달성한다. SVHN 및 CIFAR-10 데이터셋에 대한 우리의 실험은 제안 방법이 비-IID 설정에서 기존 연합 학습 알고리즘에 비해 향상된 성능을 보이며, 또한 예시 망각 문제를 완화할 수 있음을 보여준다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.