특허 개요
본 특허는 기기마다 처리 능력과 통신 여건이 다른 환경에서 연합 학습(federated learning)을 수행하기 위한 하위 모델별 독립 압축 기술입니다. 각 단말은 드롭아웃 비율에 따라 전체 신경망 중 자신이 학습할 부분인 하위 모델을 선택하고, 학습 후 모델 전체가 아닌 매개변수 변화량을 전송합니다. 이때 W-FjORD 방식은 모델 크기별 매개변수 집합에 D-SGD 압축을 각각 적용하며, 서버는 HeteroAvg 방식으로 실제 학습된 매개변수만 선택 횟수 기준으로 취합해 전체 모델을 갱신합니다.
- 핵심 기능
단말은 자신의 하드웨어 성능과 전송 가능한 신경망 크기에 맞춰 드롭아웃 비율을 설정하고, 선택된 하위 모델을 확률적 경사 하강법으로 학습합니다. 이후 하위 모델별 매개변수 집합을 분류해 독립적으로 압축한 변화량을 서버에 전송하며, 서버는 수신된 매개변수를 평균 취합해 전체 모델을 업데이트합니다.
- 차별 강점
기존 연합 학습은 동일한 모델 구조와 이상적 통신 환경을 전제하거나, 서로 다른 크기의 모델에 일괄 압축을 적용해 하위 모델별 특성을 충분히 반영하기 어려웠습니다. 본 기술은 단말별 하위 모델을 유지하면서 모델 크기 조건별로 압축을 분리 적용하므로, 이기종 단말과 무선 통신 제약을 함께 고려할 수 있습니다.
- 활용 범위
기술·연구 측면에서는 이기종 IoT 기기 연합 학습, 무선·모바일 엣지 AI, 분산 신경망 학습, 통신·컴퓨팅 융합 서비스에 활용 가능하며, 기기 성능 차이가 있는 분산 학습 환경에 적용할 수 있습니다. 사업 측면에서는 스마트 제조·물류·도시 인프라의 IoT 분석, 모바일·엣지 AI 플랫폼, 다수 단말 기반 지능형 서비스로 확장할 수 있습니다.
연구 개발 단계
MNIST 데이터셋과 합성곱 계층 2개, 풀링 계층 2개, 완전연결 계층 2개로 구성된 CNN에서 하위 모델별 테스트 정확도와 글로벌 반복별 평균 테스트 정확도를 비교했습니다. 제안 W-FjORD는 FjORD, HeteroFL, Fedhomo 대비 모든 하위 모델 및 반복 구간에서 우수한 성능을 보인다고 서술되어 있으며, 실제 무선 채널·대규모 모델·이질 데이터 환경 검증은 추가로 필요합니다.
- 데이터셋: MNIST 기반 비교 실험
- 모델 구성: 합성곱 계층 2개, 풀링 계층 2개, 완전연결 계층 2개 CNN
- 비교 알고리즘: FjORD, HeteroFL, Fedhomo
- 하위 모델 조건: 드롭아웃 비율 집합 R={0.25, 0.5, 0.75, 1.0}
현재 성과
제안 W-FjORD는 각 하위 모델을 독립적으로 압축해 전송하고 취합하는 방식으로 구성됩니다. MNIST 비교 실험에서 FjORD, HeteroFL, Fedhomo 대비 모든 하위 모델에서 더 좋은 테스트 정확도를 보인다고 서술되어 있습니다. 실제 도입 환경의 정확도는 데이터 분포와 모델 구성에 따라 PoC로 확인할 필요가 있습니다.
합성곱 계층 2개, 풀링 계층 2개, 완전연결 계층 2개로 구성된 CNN과 드롭아웃 비율 집합 R={0.25, 0.5, 0.75, 1.0} 조건에서 검증했습니다. 하위 모델별 테스트 정확도와 글로벌 반복별 평균 테스트 정확도를 FjORD, HeteroFL, Fedhomo와 비교했습니다.
기존 방식은 동일한 모델 구조를 전제하거나 전체 모델에 일괄 압축을 적용해 서로 다른 크기의 하위 모델 특성을 충분히 반영하기 어려웠습니다. 본 기술은 단말별 드롭아웃 비율로 하위 모델을 선택하고, 모델 크기별 매개변수 집합에 D-SGD 압축을 독립 적용합니다. 서버는 선택되어 학습된 매개변수만 선택 횟수 기준으로 평균하는 HeteroAvg 방식으로 전체 모델을 갱신합니다.
상용화까지 남은 부분
실제 페이딩 채널과 이동 단말 환경에서의 통신 오류·지연을 반영한 성능 재현성 검증
대규모 신경망 모델과 대규모 단말 수에서의 학습 수렴성·통신 부하·확장성 검증
단말별 데이터 분포가 다른 환경에서의 정확도, 공정성 및 서비스 수준 성능 검증
기술 이전 형태·도입 과정
도입은 이렇게 진행됩니다.
검토 미팅
귀사 상황·데이터 구조 기준으로 적합성을 논의합니다. 자료 검토만으로 끝나도 됩니다.
PoC 공동 검증
연구팀 동행 하에 귀사 데이터 기준 재학습·성능을 확인합니다.
라이센싱 계약
PoC 결과를 기반으로 희망 형태(실시권·공동연구 등)를 협의합니다.
기술지도·후속
도입 초기 기술지도, 필요 시 후속 공동연구·정부과제 연계까지 진행합니다.
특허 정보
무선 통신 시스템에서 수행되는 연합 학습 방법 및 이를 위한 장치
10-2023-0149377 (2023.11.01)
1020250063623 (2025.05.08)
미등록 (심사 중)
강준혁 (한국과학기술원), 이종명 (한국과학기술원)
한국과학기술원