다중모달 연합학습(Multimodal federated learning, MFL)은 클라이언트가 여러 양식(modality)에 걸쳐 측정을 수행하는 연합학습(FL) 환경에서 모델 학습을 풍부하게 하는 것을 목표로 한다. 그러나 MFL의 핵심 과제는 여전히 해결되지 않았으며, 특히 다음을 특징으로 하는 이질적 네트워크 환경에서는 그러하다: (i) 각 클라이언트가 수집하는 양식의 집합이 다양하고, (ii) 통신 제약으로 인해 클라이언트가 로컬에서 학습한 모든 양식 인코더를 서버에 업로드할 수 없다. 본 논문에서는 decoupled(분리형) 아키텍처와 선택적 업로드(selective uploading)를 통해 이러한 과제를 해결하는, 통신 효율적인 MFL 프레임워크인 다중모달 연합학습 with joint Modality and Client selection(MFedMC)을 제안한다. MFedMC는 전통적인 통합적(holistic) 결합(fusion) 접근과 달리, 양식 인코더(modality encoders)와 결합 모듈(fusion modules)을 분리한다. 구체적으로, 양식 인코더는 다양한 클라이언트 분포에 대한 일반화를 위해 서버에서 집계(aggregated)되는 반면, 결합 모듈은 각 클라이언트에 로컬로 유지되어 개별 양식 구성 및 데이터 특성에 대한 개인화된 적응(personalized adaptation)을 수행한다. 이러한 분리형 설계를 바탕으로, 공동 선택(joint selection) 알고리즘은 두 가지 주요 구성요소를 포함한다. (a) 각 클라이언트를 위한 양식 선택(modality selection) 방법론으로, (i) Shapley value 분석을 통해 평가한 양식의 영향, (ii) 통신 오버헤드의 지표로서의 양식 인코더 크기, (iii) 일반화(generalizability)를 향상시키기 위한 양식 인코더 업데이트의 빈도(reсency)를 가중치로 반영한다. (b) 서버가 각 클라이언트에서의 양식 인코더 로컬 손실(local loss)을 기반으로 수행하는 클라이언트 선택(client selection) 전략이다. 5개의 실제 데이터셋에 대한 실험 결과, MFedMC는 여러 기준(baselines)과 비교 가능한 정확도를 달성하면서도 통신 오버헤드를 20배 이상 감소시킨다. 데모 비디오 및 코드는 다음에서 제공된다: https://liangqiy.com/mfedmc/.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.