프라이버시를 보존한 의료 데이터의 연합학습 방법과 이에 기반한 추론 방법, 연산 장치 그리고 이의 기록매체
Federated learning and inference methods for privacy-preserving medical data, computing device and recording medium thereof
특허 요약
본 발명의 일 실시예는 의료 데이터를 기반으로 한 인공지능 모델의 연합학습 방법에 관한 것으로, 로컬 모델의 데이터 개수에 근거해 각 로컬 모델의 가중치를 산정해서 글로벌 모델을 업데이트하는 제1 단계, 로컬 모델의 가중치와 글로벌 모델의 가중치간 유사도를 산정해서 상기 글로벌 모델을 업데이트하는 제2 단계를 포함한다.
청구항
번호청구항
1

의료 데이터를 기반으로 한 인공지능 모델의 연합학습 방법에 관한 것으로,로컬 모델의 데이터 개수에 근거해 각 로컬 모델의 가중치를 산정해서 글로벌 모델을 업데이트하는 제1 단계; 그리고로컬 모델의 가중치와 글로벌 모델의 가중치간 유사도를 산정해서 상기 글로벌 모델을 업데이트하는 제2 단계;를 포함하는, 연합학습 방법.

2

제1항에 있어서,상기 제1 단계는, 상기 인공지능 모델이 학습하기 시작하는 초기 Communicative round에 배정되는, 연합학습 방법.

3

제1항에 있어서,상기 제1 단계는, Federated averaging algorithm(FedAvg)에 기반해 실시되는, 연합학습 방법.

4

제1항에 있어서, 상기 제2 단계는, 상기 글로벌 모델의 가중치에 가까운 로컬 모델일수록 높은 유사도 가중치를 부여하여 상기 글로벌 모델의 업데이트에 더 많은 영향을 미치도록 가중치를 가중 평균하는, 연합학습 방법.

5

제4항에 있어서, 상기 제2 단계는,각 로컬 모델의 가중치 벡터와 현재 글로벌 모델의 가중치 벡터 사이의 유클리디안 거리(L2 norm)를 계산하는 제1 과정과,상기 제1 과정에서 계산된 거리값을 지수 함수에 적용하여 상기 유사도를 계산하는 제2 과정과,상기 제2 과정에서 계산된 각 로컬 모델의 유사도를 정규화하는 제3 과정과,하기 수식 1에 따라서 상기 글로벌 모델을 업데이트하는 제4 과정,을 포함하는 연합학습 방법.[수식 1]글로벌 모델의 가중치 = Σ(로컬모델 가중치 x 정규화된 유사도)

6

제5항에 있어서, 상기 유사도는 하기 수식 2에 따라 구해지는, 연합학습 방법.[수식 2]ω: 가중치, : 로컬 모델의 개수, : 개별 로컬모델 t: 라운드 수, a: sharpening temperature

7

제1 항 내지 제6항 중 어느 한 항에 기재된 연합학습 방법을 컴퓨터가 읽을 수 있도록 코딩된 프로그램을 기록한 기록 매체.

8

연합학습을 통해서 로컬 모델과 글로벌 모델이 학습하는 (A) 단계와,상기 (A) 단계를 통해 학습된 상기 로컬 모델에 의료 데이터를 입력해 학습된 바에 따라 결과를 추론하는 (B) 단계를 포함하고,상기 (A) 단계는,로컬 모델의 데이터 개수에 근거해 각 로컬 모델의 가중치를 산정해서 글로벌 모델을 업데이트하는 제1 단계; 그리고로컬 모델의 가중치와 글로벌 모델의 가중치간 유사도를 산정해서 상기 글로벌 모델을 업데이트하는 제2 단계;를 포함하는, 추론 방법.

9

제8항에 있어서,상기 (A) 단계는, 상기 인공지능 모델이 학습하기 시작하는 초기 Communicative round에 배정되는, 추론 방법.

10

제8항에 있어서,상기 제1 단계는, Federated averaging algorithm(FedAvg)에 기반해 실시되는, 추론 방법.

11

제8항에 있어서, 상기 제2 단계는, 상기 글로벌 모델의 가중치에 가까운 로컬 모델일수록 높은 유사도 가중치를 부여하여 상기 글로벌 모델의 업데이트에 더 많은 영향을 미치도록 가중치를 가중 평균하는, 추론 방법.

12

제11항에 있어서, 상기 제2 단계는,각 로컬 모델의 가중치 벡터와 현재 글로벌 모델의 가중치 벡터 사이의 유클리디안 거리(L2 norm)를 계산하는 제1 과정과,상기 제1 과정에서 계산된 거리값을 지수 함수에 적용하여 상기 유사도를 계산하는 제2 과정과,상기 제2 과정에서 계산된 각 로컬 모델의 유사도를 정규화하는 제3 과정과,하기 수식 1에 따라서 상기 글로벌 모델을 업데이트하는 제4 과정,을 포함하는 추론 방법.[수식 1]글로벌 모델의 가중치 = Σ(로컬모델 가중치 x 정규화된 유사도)

13

제12항에 있어서, 상기 유사도는 하기 수식 2에 따라 구해지는, 추론 방법.[수식 2]ω: 가중치, : 로컬 모델의 개수, : 개별 로컬모델 t: 라운드 수, a: sharpening temperature

14

의료 데이터를 기반으로 한 인공지능 모델의 연합학습 방법을 컴퓨터가 읽을 수 있도록 코딩된 프로그램을 저장하는 메모리; 및상기 프로그램을 실행하는 프로세서;를 포함하고,상기 연합학습 방법은,로컬 모델의 데이터 개수에 근거해 각 로컬 모델의 가중치를 산정해서 글로벌 모델을 업데이트하는 제1 단계; 그리고로컬 모델의 가중치와 글로벌 모델의 가중치간 유사도를 산정해서 상기 글로벌 모델을 업데이트하는 제2 단계;를 포함하는, 연산 장치.

15

제14항에 있어서,상기 제1 단계는, 상기 인공지능 모델이 학습하기 시작하는 초기 Communicative round에 배정되는, 연산 장치.

16

제14항에 있어서,상기 제1 단계는, Federated averaging algorithm(FedAvg)에 기반해 실시되는, 연산 장치.

17

제14항에 있어서, 상기 제2 단계는, 상기 글로벌 모델의 가중치에 가까운 로컬 모델일수록 높은 유사도 가중치를 부여하여 상기 글로벌 모델의 업데이트에 더 많은 영향을 미치도록 가중치를 가중 평균하는, 연산 장치.

18

제17항에 있어서, 상기 제2 단계는,각 로컬 모델의 가중치 벡터와 현재 글로벌 모델의 가중치 벡터 사이의 유클리디안 거리(L2 norm)를 계산하는 제1 과정과,상기 제1 과정에서 계산된 거리값을 지수 함수에 적용하여 상기 유사도를 계산하는 제2 과정과,상기 제2 과정에서 계산된 각 로컬 모델의 유사도를 정규화하는 제3 과정과,하기 수식 1에 따라서 상기 글로벌 모델을 업데이트하는 제4 과정,을 포함하는 연산 장치.[수식 1]글로벌 모델의 가중치 = Σ(로컬모델 가중치 x 정규화된 유사도)

19

제18항에 있어서, 상기 유사도는 하기 수식 2에 따라 구해지는, 연산 장치.[수식 2]ω: 가중치, : 로컬 모델의 개수, : 개별 로컬모델 t: 라운드 수, a: sharpening temperature