Non-IID 데이터를 갖는 클라이언트의 이질성을 교정하는 연합 학습 시스템
Federated learning system of calibrating the heterogeneity of clients with non-IID data
특허 요약
본 발명은 Non-IID 데이터를 갖는 클라이언트의 이질성을 교정하는 연합 학습 시스템에 관한 것이다. 상기 연합 학습 시스템은, 클라이언트의 로컬 모델에 대한 로컬 학습에 따른 파라미터들을 중앙 서버로 전송하여 글로벌 모델에 대한 글로벌 학습을 수행한다. 각 클라이언트의 로컬 모델은, 각 레이블의 확률을 편향 조정 계수를 이용하여 소프트맥스 합수를 교정하고, 각 레이블별로 출력된 값을 상기 교정된 소프트맥스 함수를 이용하여 확률로 정규화하고 크로스 엔트로피 손실을 계산하고, 사전 설정된 테스트용 공유 데이터를 이용하여 로컬 모델의 레이블별 정확도를 측정하고, 레이블별 정확도를 기반으로 하여 가중치를 부여하며, 레이블에 대한 정확도 및 로컬 모델 가중치를 중앙 서버로 전송한다. 상기 중앙 서버의 글로벌 모델은, 각 클라이언트로부터 전송된 레이블들에 대한 정확도를 이용하여 해당 클라이언트의 반영 정도를 나타내는 반영 스코어를 계산하고, 각 클라이언트의 반영 스코어를 이용하여 분류기의 업데이트를 진행한다.
청구항
| 번호 | 청구항 |
|---|---|
| 1 | 각 클라이언트의 로컬 모델에 대한 로컬 학습에 따른 파라미터들을 중앙 서버로 전송하여 글로벌 모델에 대한 글로벌 학습을 수행하는 연합 학습 시스템에 있어서, 각 클라이언트의 로컬 모델은, 각 레이블의 확률을 편향 조정 계수를 이용하여 소프트맥스 합수를 교정하고, 각 레이블별로 출력된 값을 상기 교정된 소프트맥스 함수를 이용하여 확률로 정규화하고 크로스 엔트로피 손실을 계산하고, 사전 설정된 테스트용 공유 데이터를 이용하여 로컬 모델의 레이블별 정확도를 측정하고, 레이블별 정확도를 기반으로 하여 로컬 모델 가중치를 부여하며, 레이블에 대한 정확도 및 로컬 모델 가중치를 중앙 서버로 전송하는 것을 특징으로 하며, 상기 중앙 서버의 글로벌 모델은,각 클라이언트로부터 전송된 레이블들에 대한 정확도를 이용하여 해당 클라이언트의 반영 정도를 나타내는 반영 스코어를 계산하고, 각 클라이언트의 반영 스코어를 이용하여 분류기의 업데이트를 진행하는 것을 특징으로 하는 Non-IID 데이터를 갖는 클라이언트의 이질성을 교정하는 연합 학습 시스템. |
