연합 학습(Federated learning, FL)은 데이터 프라이버시를 보존하면서 분산된 엣지 디바이스를 통해 협력적으로 모델을 학습할 수 있게 해주지만, 비IID(non-independent and identically distributed) 데이터 분포와 부분적 클라이언트 참여로 인해 발생하는 클라이언트 드리프트로 인해 성능이 흔히 저하된다. 분산된 업데이트들 사이의 방향성 비일관성을 억제하기 위한 원칙적인 메커니즘의 필요성에 동기부여되어, 우리는 Kuramoto 발진기 모델의 위상 동기화 동역학에서 영감을 받은 새로운 FL 알고리즘인 FedKuramoto를 제안한다. FedKuramoto에서 각 클라이언트 업데이트는 전역 업데이트 방향으로부터의 각도 편차로 정의되는 위상을 갖는 발진기로 해석된다. 제안하는 방법은 위상 제약 투영(phase-constrained projection)을 통해 위상 일관성을 강제하며, 추가적인 통신 오버헤드 없이 복원력으로 작용하는 일관성 인지 모멘텀(coherence-aware momentum)을 도입한다. 다양한 벤치마크와 서로 다른 이질성 및 참여 비율 조건에서 수행한 광범위한 실험 결과, FedKuramoto는 기존의 FL 알고리즘에 비해 수렴을 일관되게 가속하고 정확도를 향상시키는 것으로 나타났다. 이러한 결과는 비선형 동역학 시스템에서 동기화 메커니즘을 도입하는 것이 분산 학습을 위한 효과적이고 견고한 설계 패러다임을 제공함을 시사한다.

신경망(NNs)은 분류, 생성, 복원과 같은 데이터 처리 작업을 향상시키는 데 핵심적인 역할을 한다. 이러한 응용에서 중요한 고려 사항은 데이터의 품질을 나타내는 지표인 신호대잡음비(SNR)이다. 본 논문에서는 데이터셋의 모든 샘플을 학습/시험 데이터셋 간의 통계적 유사성에 대해 양자화된 SNR 수준들로 군집화한 경우, 일부 작업에서 신경망을 최적화하는 것이 더 효과적일 수 있다는 가설을 제시한다. 이에 본 논문에서는 희소 신호의 SNR을 추정하기 위한 두 가지 새로운 기법, 즉 1) 단일 샘플을 사용하는 선형대수적 방법과 2) 소수 샘플을 사용하는 신경망 기반 방법을 도입한다. 제안된 기법들은 신호를 행렬 형태로 한켈라이즈(Hankelize)할 때 우세한 특이값들이 신호 공간에 관한 정보를 포함한다는 수학적 사실에 기반한다. 두 알고리즘 모두 93% 이상의 군집 정확도를 달성하였으며, 고 SNR 시나리오와 신호 길이가 증가하는 경우에는 거의 100%의 정확도를 보였다. 또한 이러한 군집 결과를 활용하여 특정 작업에서 신경망을 최적화하는 데 얻을 수 있는 이점을 실용적으로 검증하기 위해 신호 denoising의 예를 제시한다. 제안된 접근법은 기존 방법에 비해 극도로 작은 학습 데이터셋을 요구하면서도 우수한 denoising 성능을 보이며, 이는 신경망의 학습가능성이 향상된 것으로 해석될 수 있다.