특허 개요
본 특허는 여러 기기가 데이터를 직접 공유하지 않고 함께 인공지능을 학습하는 연합 학습 기반 뉴럴 네트워크 학습 기술입니다. 파라미터 서버가 클래스-와이즈 샘플링(class-wise sampling)으로 제1·제2 초기화 데이터를 분리 추출하고, 클라이언트는 제1 초기화 데이터와 로컬 데이터로 학습한 뒤 성능 검증을 통과한 파라미터만 전송합니다. 서버는 저장한 제2 초기화 데이터로 후보 손실을 평가해 손실이 작은 파라미터만 평균하는 그리디 어그리게이션(greedy aggregation)으로 타겟 뉴럴 네트워크를 생성합니다.
- 핵심 기능
파라미터 서버는 클래스별 초기화 데이터를 두 부분으로 나누어 한 부분은 클라이언트의 로컬 학습 및 성능 평가에 사용하게 하고, 다른 부분은 후보 모델 평가용으로 저장합니다. 클라이언트 검증을 통과한 파라미터를 수신한 뒤 후보 손실이 작은 순서대로 미리 정한 개수를 선택·평균하여 타겟 뉴럴 네트워크를 생성합니다.
- 차별 강점
기존 클라우드 학습은 로컬 데이터를 서버에 제공해야 해 개인정보 노출 우려가 있고, 모든 클라이언트 파라미터를 단순 평균하는 방식은 성능 저하 모델이 반영될 수 있습니다. 본 기술은 로컬 데이터를 직접 수집하지 않으면서 클라이언트 단위 검증과 후보 손실 기반 선별을 연속 적용해 성능 저하 모델을 이중으로 배제하는 점이 차별점입니다.
- 활용 범위
기술·연구 측면에서는 사물인터넷 환경의 분산 인공지능, 모바일·엣지 디바이스 학습, 개인정보 보호형 기계학습, 클라우드·엣지 협업 학습에 활용 가능하며, 비독립·불균형 데이터 환경의 연합 학습 연구로 확장할 수 있습니다. 사업 측면에서는 스마트 제조, 연결형 기기 서비스, 모바일 AI, 기업·기관 간 데이터를 직접 공유하기 어려운 분산 AI 서비스로 확장할 수 있습니다.
연구 개발 단계
클래스-와이즈 샘플링, 클라이언트-와이즈 밸리데이션 및 그리디 어그리게이션을 순차 적용하는 연합 학습 절차가 제시됐으며, 성능 평가를 통과한 클라이언트 파라미터와 후보 손실이 작은 파라미터를 선별하도록 구성했습니다. 특정 데이터셋·모델 구조에서의 정확도, 통신량, 연산 지연 및 대규모 클라이언트 환경 재현성에 대한 정량 실증은 기재되지 않았습니다.
- 학습 방식: 클래스-와이즈 샘플링, 클라이언트-와이즈 밸리데이션 및 그리디 어그리게이션을 적용한 연합 학습
- 비교 방식: 모든 클라이언트 뉴럴 네트워크 파라미터를 평균하는 방식
- 운영 조건: 매 커뮤니케이션 라운드마다 제1·제2 초기화 데이터를 추출하고 후보 손실이 작은 순서대로 미리 결정된 개수의 파라미터 선택
현재 성과
제1 초기화 데이터 기반 성능 평가를 통과한 클라이언트의 업데이트 파라미터만 서버로 전송하도록 구성합니다. 이어 제2 초기화 데이터로 후보 손실을 산출하고 손실이 작은 파라미터만 선택해 평균함으로써 성능 저하 모델의 반영을 줄입니다.
클래스-와이즈 샘플링, 클라이언트-와이즈 밸리데이션 및 그리디 어그리게이션으로 구성된 학습 절차가 제시됐습니다. 매 통신 라운드에서 초기화 데이터를 새로 추출하고, 후보 손실 순으로 미리 정한 개수의 파라미터를 선택하는 조건을 포함합니다.
기존의 전체 클라이언트 파라미터 단순 평균 방식과 달리, 초기화 데이터를 클라이언트 검증용과 서버 후보 평가용으로 분리합니다. 검증 통과 여부와 후보 손실을 함께 반영해 선택된 파라미터만 평균하는 이중 선별 구조가 핵심 차별점입니다.
상용화까지 남은 부분
특정 데이터셋 및 뉴럴 네트워크 구조별 정확도·손실 개선 효과의 정량 검증
통신량, 연산 지연, 클라이언트 수 증가에 따른 학습 효율과 재현성 검증
비독립·불균형 데이터 분포와 보안 공격 조건에서의 성능 및 안전성 검증
기술 이전 형태·도입 과정
도입은 이렇게 진행됩니다.
검토 미팅
귀사 상황·데이터 구조 기준으로 적합성을 논의합니다. 자료 검토만으로 끝나도 됩니다.
PoC 공동 검증
연구팀 동행 하에 귀사 데이터 기준 재학습·성능을 확인합니다.
라이센싱 계약
PoC 결과를 기반으로 희망 형태(실시권·공동연구 등)를 협의합니다.
기술지도·후속
도입 초기 기술지도, 필요 시 후속 공동연구·정부과제 연계까지 진행합니다.
특허 정보
연합 학습을 이용한 뉴럴 네트워크 학습 방법 및 장치
10-2021-0148110 (2021.11.01)
1024797930000 (2022.12.16)
강준혁, 이영준, 박상우
한국과학기술원
한국과학기술원