특허 개요
본 특허는 여러 단말기가 원시 데이터를 공유하지 않고 공동으로 모델을 학습하는 연합학습에서, 라운드마다 조절되는 가변 학습율로 서버의 모델 갱신 방식을 개선하는 기술입니다. 중앙 서버는 단말기에서 받은 모델 파라미터를 결합(aggregation)한 뒤, 신호파형의 진폭·주파수와 연합학습 라운드에 따라 산출한 가변 학습율을 적용해 파라미터를 최적화하고 업데이트 모델을 다시 배포합니다. 학습율은 삼각파·구형파·사인파·펄스파 기반으로 증가 또는 감소하도록 설정할 수 있으며, 파라미터 차이가 설정값 이하가 될 때까지 학습을 반복할 수 있습니다.
- 핵심 기능
서버가 초기 또는 업데이트 학습모델을 단말기에 배포하면, 각 단말기는 로컬 학습 결과의 모델 파라미터를 서버에 전달합니다. 서버는 수신 파라미터를 결합하고 라운드별 신호파형 기반 가변 학습율로 최적화한 뒤, 갱신된 글로벌 모델을 단말기에 재배포합니다.
- 차별 강점
기존 고정 학습율 기반 연합학습은 손실함수가 로컬 최소값이나 새들 포인트에 수렴해 학습 성능과 정확도가 저하될 수 있습니다. 본 특허는 학습율을 라운드별로 변화시켜 결합 파라미터 최적화에 적용함으로써 이러한 수렴 문제를 완화하고 목표 손실함수 최소값으로의 수렴 시간 단축을 지향합니다.
- 활용 범위
기술·연구 측면에서는 분산 인공지능 학습, 모바일·엣지 머신러닝, 개인정보보호형 데이터 협업 학습, 통신·컴퓨팅 융합 서비스에 활용 가능하며, 단말기별 데이터 분산 환경의 모델 최적화에 적용할 수 있습니다. 사업 측면에서는 모바일 AI 서비스, 엣지 플랫폼, 다기관 데이터 협업 솔루션, 프라이버시 중심 AI 운영체계로 확장할 수 있습니다.
연구 개발 단계
명세서의 실시예 기반 동작 설명에서 고정 학습율과 가변 학습율을 적용한 연합학습 모델의 손실함수 수렴 특성을 비교했습니다. 가변 학습율이 로컬 최소값 또는 새들 포인트 수렴을 완화하고 수렴 시간 및 라운드 횟수 감소에 기여할 수 있음을 정성적으로 제시했으나, 특정 데이터셋과 실제 통신 환경에서의 정량 성능은 제시되지 않았습니다.
- 검증 방식: 명세서 실시예 기반 동작 설명 및 손실함수 수렴 특성의 개념적 비교
- 학습 모델: 고정 학습율 및 가변 학습율을 적용한 연합학습 모델
- 비교 조건: 종래 고정 학습율 대비 신호파형 기반 가변 학습율
- 최적화 조건: 신호파형의 진폭·주파수와 연합학습 라운드에 따른 학습율 산출
현재 성과
가변 학습율을 결합 파라미터 최적화에 적용해 목표 손실함수 최소값으로의 수렴 시간을 단축하는 것을 목적으로 합니다. 로컬 최소값 또는 새들 포인트에 머무르는 가능성을 완화하고, 이에 따라 연합학습 라운드 횟수를 줄일 수 있도록 설계되었습니다.
명세서 실시예 기반 동작 설명에서 고정 학습율과 신호파형 기반 가변 학습율을 적용한 모델의 손실함수 수렴 특성을 비교했습니다. 진폭·주파수 및 라운드에 따라 학습율을 산출하는 방식을 제시했으나, 특정 데이터셋·모델·단말기 수에서의 정량 결과는 제시되지 않았습니다.
기존 방식은 서버가 고정 학습율로 단말기 수신 파라미터를 최적화하는 구조입니다. 본 특허는 신호파형의 진폭과 주파수, 연합학습 라운드를 바탕으로 학습율을 증가 또는 감소시키고 이를 파라미터 결합 최적화에 적용하는 점에서 차별화됩니다.
상용화까지 남은 부분
특정 데이터셋·모델 구조·단말기 수별 수렴 시간, 정확도, 통신 라운드 수에 대한 정량 성능 검증
대규모 단말기 참여 환경에서의 확장성, 통신 지연·단말 이탈 상황에서의 재현성 검증
서비스 적용 대상별 신호파형, 진폭·주파수, 종료조건 등 가변 학습율 설정값의 최적화
기술 이전 형태·도입 과정
도입은 이렇게 진행됩니다.
검토 미팅
귀사 상황·데이터 구조 기준으로 적합성을 논의합니다. 자료 검토만으로 끝나도 됩니다.
PoC 공동 검증
연구팀 동행 하에 귀사 데이터 기준 재학습·성능을 확인합니다.
라이센싱 계약
PoC 결과를 기반으로 희망 형태(실시권·공동연구 등)를 협의합니다.
기술지도·후속
도입 초기 기술지도, 필요 시 후속 공동연구·정부과제 연계까지 진행합니다.
특허 정보
가변 학습율을 이용한 연합학습방법 및 장치
10-2023-0086433 (2023.07.04)
1026905170000 (2024.07.26)
강준혁, 이영준, 박상우, 공진우
한국과학기술원
한국과학기술원