| 번호 | 청구항 |
|---|---|
| 1 | 연합학습을 위한 복수의 클라이언트 각각의 신경망모델의 파라미터를 갱신하는 방법으로, 상기 복수의 클라이언트 각각에 초기 모델 및 데이터를 배포하는 단계;상기 복수의 클라이언트 각각에서 상기 초기 모델의 파라미터를 조정하는 단계;상기 복수의 클라이언트 각각으로부터 조정된 파라미터를 취합하여 신규 파라미터를 생성하는 단계; 및상기 신규 파라미터를 상기 복수의 클라이언트 각각에 배포하여 상기 초기 모델의 파라미터를 갱신하는 단계를 포함하는 신경망모델 파라미터 갱신방법. |
| 2 | 제1항에 있어서, 상기 초기 모델의 파라미터를 조정하는 단계는,상기 복수의 클라이언트 각각에서 상기 데이터를 이용하여 상기 초기 모델을 학습시키는 단계;학습된 모델의 파라미터를 추출하여 벡터로 변환하고, 상기 학습된 모델의 변화량 벡터에 대한 크기 및 방향 중 적어도 하나를 조정하는 단계; 및조정된 벡터를 재 변환하여 상기 학습된 모델에 대한 상기 조정된 파라미터로 출력하는 단계를 포함하는 신경망모델 파라미터 갱신방법. |
| 3 | 제2항에 있어서, 상기 벡터에 대한 크기 및 방향 중 적어도 하나를 조정하는 단계는, 상기 초기 모델의 파라미터를 벡터로 변환하는 단계;상기 초기 모델의 변화량 벡터와 상기 학습된 모델의 변화량 벡터 간 유사도를 산출하는 단계; 및산출된 유사도를 기 설정된 유사도와 비교하고, 비교 결과에 따라 상기 설정된 유사도에 기초하여 상기 학습된 모델의 변화량 벡터에 대한 크기를 조정하는 단계를 포함하는 신경망모델 파라미터 갱신방법. |
| 4 | 제3항에 있어서, 상기 벡터에 대한 크기를 조정하는 단계는, 상기 산출된 유사도가 상기 설정된 유사도보다 작으면, 상기 설정된 유사도에 기초하여 상기 학습된 모델의 변화량 벡터 크기를 증가시키고, 상기 산출된 유사도가 상기 설정된 유사도보다 크면, 상기 설정된 유사도에 기초하여 상기 학습된 모델의 변화량 벡터 크기를 감소시키는 단계를 포함하는 신경망모델 파라미터 갱신방법. |
| 5 | 제2항에 있어서, 상기 벡터에 대한 크기 및 방향 중 적어도 하나를 조정하는 단계는, 상기 학습된 모델의 변화량 벡터를 수직성분과 수평성분으로 분해하는 단계;분해된 벡터의 수직성분을 상기 초기 모델의 벡터 직교공간에 투영하는 단계; 및투영된 벡터에 기초하여 상기 학습된 모델의 변화량 벡터에 대한 크기 및 방향을 조정하는 단계를 포함하는 신경망모델 파라미터 갱신방법. |
| 6 | 제2항에 있어서, 상기 초기 모델을 학습시키는 단계는, 상기 초기 모델의 상기 파라미터를 조정하면서 상기 데이터를 이용하여 상기 초기 모델을 반복 학습시키는 단계를 포함하는 신경망모델 파라미터 갱신방법. |
| 7 | 제1항에 있어서, 상기 신규 파라미터를 생성하는 단계는, 상기 복수의 클라이언트 각각에서 취합된 상기 조정된 파라미터의 평균값을 산출하는 단계; 및상기 평균값에 기초하여 상기 신규 파라미터를 생성하는 단계를 포함하는 신경망모델 파라미터 갱신방법. |
| 8 | 연합학습을 위한 복수의 클라이언트 각각과 연결된 파라미터 관리장치를 포함하는 신경망모델 파라미터 갱신시스템으로, 상기 복수의 클라이언트 각각은, 상기 파라미터 관리장치로부터 배포된 초기 모델 및 데이터에 기초하여 상기 초기 모델을 학습시키고, 학습된 모델에 대한 파라미터를 조정하여 조정된 파라미터를 출력하며, 상기 파라미터 관리장치는, 상기 복수의 클라이언트 각각에서 상기 조정된 파라미터를 취합하여 신규 파라미터를 생성하고, 상기 신규 파라미터를 상기 복수의 클라이언트로 배포하는 신경망모델 파라미터 갱신시스템. |
| 9 | 제8항에 있어서, 상기 복수의 클라이언트 각각은, 상기 데이터를 이용하여 상기 초기 모델을 학습시키는 모델 학습부;상기 학습된 모델에서 파라미터를 추출하여 벡터로 변환하는 파라미터 변환부; 및상기 학습된 모델의 변화량 벡터에 대한 크기 및 방향 중 적어도 하나를 조정하는 파라미터 조정부를 포함하고, 상기 파라미터 변환부는, 조정된 벡터를 재 변환하여 상기 조정된 파라미터로 출력하는 신경망모델 파라미터 갱신시스템. |
| 10 | 제9항에 있어서, 상기 파라미터 조정부는, 상기 초기 모델의 변화량 벡터와 상기 학습된 모델의 변화량 벡터 간 유사도를 산출하고, 산출된 유사도를 기 설정된 유사도와 비교한 결과에 따라 상기 설정된 유사도에 기초하여 상기 학습된 모델의 변화량 벡터에 대한 크기를 조정하는 신경망모델 파라미터 갱신시스템. |
| 11 | 제10항에 있어서, 상기 파라미터 조정부는, 상기 산출된 유사도가 상기 설정된 유사도보다 작으면, 상기 설정된 유사도에 기초하여 상기 학습된 모델의 변화량 벡터 크기를 증가시키고, 상기 산출된 유사도가 상기 설정된 유사도보다 크면, 상기 설정된 유사도에 기초하여 상기 학습된 모델의 변화량 벡터 크기를 감소시키는 신경망모델 파라미터 갱신시스템. |
| 12 | 제9항에 있어서, 상기 파라미터 조정부는, 상기 학습된 모델의 변화량 벡터를 수직성분과 수평성분으로 분해하고, 분해된 벡터의 수직성분을 상기 초기 모델의 벡터 직교공간에 투영하여 상기 학습된 모델의 변화량 벡터에 대한 크기 및 방향을 조정하는 신경망모델 파라미터 갱신시스템. |
| 13 | 제8항에 있어서, 상기 파라미터 관리장치는, 상기 복수의 클라이언트 각각에서 취합된 상기 조정된 파라미터의 평균값을 산출하고, 상기 평균값에 기초하여 상기 신규 파라미터를 생성하는 신경망모델 파라미터 갱신시스템. |
| 14 | 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 기록매체로서,상기 컴퓨터 프로그램은, 연합학습을 위한 복수의 클라이언트 각각에 초기 모델 및 데이터를 배포하는 단계;상기 복수의 클라이언트 각각에서 상기 초기 모델의 파라미터를 조정하는 단계;상기 복수의 클라이언트 각각으로부터 조정된 파라미터를 취합하여 신규 파라미터를 생성하는 단계; 및상기 신규 파라미터를 상기 복수의 클라이언트 각각에 배포하여 상기 초기 모델의 파라미터를 갱신하는 단계를 포함하는 신경망모델 파라미터 갱신방법을 프로세서가 수행하기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체. |
| 15 | 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,상기 컴퓨터 프로그램은, 연합학습을 위한 복수의 클라이언트 각각에 초기 모델 및 데이터를 배포하는 단계;상기 복수의 클라이언트 각각에서 상기 초기 모델의 파라미터를 조정하는 단계;상기 복수의 클라이언트 각각으로부터 조정된 파라미터를 취합하여 신규 파라미터를 생성하는 단계; 및상기 신규 파라미터를 상기 복수의 클라이언트 각각에 배포하여 상기 초기 모델의 파라미터를 갱신하는 단계를 포함하는 신경망모델 파라미터 갱신방법을 프로세서가 수행하기 위한 명령어를 포함하는 컴퓨터 프로그램. |