원격 지역에 위치한 장치는 잘 발달된 지상 통신 인프라의 커버리지를 종종 받지 못한다. 이는 해당 장치가 고품질 통신 서비스를 경험하지 못하게 할 뿐 아니라 원격 지역에서의 기계학습 서비스 제공 또한 방해한다. 본 논문에서는 이러한 문제를 해결하기 위해 우주-공중-지상 통합 네트워크(SAGINs)를 대상으로 하는 새로운 연합 학습(FL) 방법론을 제안한다. 우리의 접근법은 연합 학습 과정에서 우주 및 공중 계층의 노드를 전략적으로 1) 에지 컴퓨팅 단위이자 2) 모델 집계자로 활용하며, 이는 지상 장치의 제한된 연산 능력과 목표 지역에서의 지상 기지국 부재로 인해 발생하는 문제를 해결한다. 본 방법론의 핵심 아이디어는 이동성, 이질적인 연산 능력, 그리고 유입 위성의 커버리지 시간 불일치 등 SAGINs의 다양한 네트워크 동학을 반영하는 적응적 데이터 오프로딩 및 핸드오버 절차에 있다. 우리는 제안한 기법의 지연(latency)을 분석하고, 적응적 데이터 오프로딩 최적화기를 개발하며, 또한 제안 알고리즘의 이론적 수렴 상한(bound)을 규명한다. 실험 결과는 다양한 기준 방법들과 비교할 때, 학습 시간과 테스트 정확도 측면에서 SAGIN 지원 연합 학습 방법론의 우수성을 확인해 준다.

네트워크 커버리지 지도는 계속 확장되고 있으나, 원격 지역에 위치한 많은 기기들은 지상 통신 인프라에 연결되지 못해, 데이터 기반 서비스에 접근하지 못하고 있다. 본 논문에서는 원격 지역에서의 기계학습 서비스 관리를 촉진하기 위한 협력적 지상-위성 연합학습(FL) 방법론을 제안한다. 우리의 방법론은 연합학습 동안 위성 성좌(satellite constellation)가 다음의 핵심 기능을 수행하도록 오케스트레이션한다: (i) 지상 기기에서 오프로딩(offloading)된 데이터를 처리하고, (ii) 기기 클러스터 내에서 모델을 집계하며, (iii) 위성 간 링크(inter-satellite links, ISLs)를 통해 다른 위성으로 모델/데이터를 중계한다. 특정 원격 지역에 대해 각 위성이 커버하는 시간은 제한되어 있으므로, ISL을 통해 이웃 위성으로 훈련된 모델과 획득한 데이터를 위성이 전송할 수 있도록 하여, 유입되는 위성(incoming satellite)이 해당 지역에 대해 연합학습을 계속 수행할 수 있게 한다. 또한, 지상 기기에서 위성으로 오프로딩할 데이터의 양을 최적화하는 학습 지연 최소화기를 개발한다. 벤치마크 데이터셋에 대한 실험을 통해, 본 제안 방식이 지상만 사용한 경우 및 다른 위성 기반 기준 접근법에 비해 연합학습의 수렴을 유의미하게 가속할 수 있음을 보인다.

네트워크 커버리지 지도는 계속해서 확장되고 있으나, 원격 지역에 위치한 많은 장치들은 지상 통신 인프라에 연결되지 못해 관련 데이터 기반 서비스에 접근하지 못하고 있다. 본 논문에서는 원격 지역에서의 머신러닝 서비스 관리를 가능하게 하기 위한 지상-위성 협력 연합 학습(Federated Learning, FL) 방법론을 제안한다. 우리의 방법론은 연합 학습 동안 위성 군집을 조율하여 다음의 핵심 기능을 수행한다: (i) 지상 장치에서 오프로드된 데이터를 처리하고, (ii) 장치 클러스터 내에서 모델을 집계하며, (iii) 위성 간 링크(Inter-Satellite Links, ISLs)를 통해 다른 위성으로 모델/데이터를 전달한다. 특정 원격 지역에 대한 각 위성의 커버리지 시간이 제한되어 있기 때문에, ISL을 통해 이웃 위성으로 훈련된 모델과 획득한 데이터를 전송할 수 있도록 하여, 유입되는 위성이 해당 지역에 대해 연합 학습을 계속 수행할 수 있게 한다. 우리는 알고리즘의 수렴 거동을 이론적으로 분석하고, 위성별 네트워크 자원을 포함하여 위성으로의 지상 장치 데이터 오프로드량과 위성의 연산 속도를 최적화하는 훈련 지연(latency) 최소화기를 개발한다. 세 가지 데이터셋에 대한 실험을 통해, 우리의 방법론이 지상 전용 및 기타 위성 기반 기준 접근법에 비해 연합 학습의 수렴을 유의미하게 가속할 수 있음을 보인다.

모델의 크기가 증가할수록, 심층 신경망(DNN)을 사용하여 예측을 수행하는 일은 계산 비용이 점점 더 커지고 있다. 멀티-엑싯 신경망(multi-exit neural network)은 초기 종료(early exits)를 통해, 실제로 시간에 따라 변동할 수 있는 현재 테스트 시 예산(test-time budget)에 맞추어 유연하게 anytime 예측을 수행할 수 있는 유망한 해결책이다(예: 속도가 동적으로 변하는 자율주행차). 그러나 초기 엑싯에서의 예측 성능은 일반적으로 최종 엑싯에 비해 훨씬 낮으며, 이는 테스트 시 예산이 타이트한 저지연(low-latency) 응용에서 중대한 문제가 된다. 모든 엑싯의 손실을 동시에 최소화하도록 각 블록을 최적화하는 선행 연구들과 비교하여, 본 연구에서는 개별 블록에 서로 다른 목표를 전략적으로 부여하는 방식으로 멀티-엑싯 신경망을 학습하기 위한 새로운 방법을 제안한다. 제안한 아이디어는 그룹화 및 중첩(overlapping) 전략에 기반하여, 이후 엑싯의 성능을 저하시키지 않으면서 초기 엑싯에서의 예측 성능을 향상시킨다. 이로써 본 설계는 저지연 응용에 더욱 적합해진다. 이미지 분류와 의미 분할(semantic segmentation) 모두에 대해 수행한 광범위한 실험 결과는 본 접근법의 우수성을 확인해 준다. 제안한 아이디어는 모델 아키텍처의 어떠한 수정도 필요로 하지 않으며, 멀티-엑싯 신경망의 성능을 향상시키기 위해 기존에 사용되는 전략들과 손쉽게 결합될 수 있다.

원격 지역에 위치한 장치는 잘 발달된 지상 통신 인프라의 커버리지를 종종 받지 못한다. 이는 해당 장치가 고품질 통신 서비스를 경험하지 못하게 할 뿐 아니라 원격 지역에서의 기계학습 서비스 제공 또한 방해한다. 본 논문에서는 이러한 문제를 해결하기 위해 우주-공중-지상 통합 네트워크(SAGINs)를 대상으로 하는 새로운 연합 학습(FL) 방법론을 제안한다. 우리의 접근법은 연합 학습 과정에서 우주 및 공중 계층의 노드를 전략적으로 1) 에지 컴퓨팅 단위이자 2) 모델 집계자로 활용하며, 이는 지상 장치의 제한된 연산 능력과 목표 지역에서의 지상 기지국 부재로 인해 발생하는 문제를 해결한다. 본 방법론의 핵심 아이디어는 이동성, 이질적인 연산 능력, 그리고 유입 위성의 커버리지 시간 불일치 등 SAGINs의 다양한 네트워크 동학을 반영하는 적응적 데이터 오프로딩 및 핸드오버 절차에 있다. 우리는 제안한 기법의 지연(latency)을 분석하고, 적응적 데이터 오프로딩 최적화기를 개발하며, 또한 제안 알고리즘의 이론적 수렴 상한(bound)을 규명한다. 실험 결과는 다양한 기준 방법들과 비교할 때, 학습 시간과 테스트 정확도 측면에서 SAGIN 지원 연합 학습 방법론의 우수성을 확인해 준다.

네트워크 커버리지 지도는 계속 확장되고 있으나, 원격 지역에 위치한 많은 기기들은 지상 통신 인프라에 연결되지 못해, 데이터 기반 서비스에 접근하지 못하고 있다. 본 논문에서는 원격 지역에서의 기계학습 서비스 관리를 촉진하기 위한 협력적 지상-위성 연합학습(FL) 방법론을 제안한다. 우리의 방법론은 연합학습 동안 위성 성좌(satellite constellation)가 다음의 핵심 기능을 수행하도록 오케스트레이션한다: (i) 지상 기기에서 오프로딩(offloading)된 데이터를 처리하고, (ii) 기기 클러스터 내에서 모델을 집계하며, (iii) 위성 간 링크(inter-satellite links, ISLs)를 통해 다른 위성으로 모델/데이터를 중계한다. 특정 원격 지역에 대해 각 위성이 커버하는 시간은 제한되어 있으므로, ISL을 통해 이웃 위성으로 훈련된 모델과 획득한 데이터를 위성이 전송할 수 있도록 하여, 유입되는 위성(incoming satellite)이 해당 지역에 대해 연합학습을 계속 수행할 수 있게 한다. 또한, 지상 기기에서 위성으로 오프로딩할 데이터의 양을 최적화하는 학습 지연 최소화기를 개발한다. 벤치마크 데이터셋에 대한 실험을 통해, 본 제안 방식이 지상만 사용한 경우 및 다른 위성 기반 기준 접근법에 비해 연합학습의 수렴을 유의미하게 가속할 수 있음을 보인다.

네트워크 커버리지 지도는 계속해서 확장되고 있으나, 원격 지역에 위치한 많은 장치들은 지상 통신 인프라에 연결되지 못해 관련 데이터 기반 서비스에 접근하지 못하고 있다. 본 논문에서는 원격 지역에서의 머신러닝 서비스 관리를 가능하게 하기 위한 지상-위성 협력 연합 학습(Federated Learning, FL) 방법론을 제안한다. 우리의 방법론은 연합 학습 동안 위성 군집을 조율하여 다음의 핵심 기능을 수행한다: (i) 지상 장치에서 오프로드된 데이터를 처리하고, (ii) 장치 클러스터 내에서 모델을 집계하며, (iii) 위성 간 링크(Inter-Satellite Links, ISLs)를 통해 다른 위성으로 모델/데이터를 전달한다. 특정 원격 지역에 대한 각 위성의 커버리지 시간이 제한되어 있기 때문에, ISL을 통해 이웃 위성으로 훈련된 모델과 획득한 데이터를 전송할 수 있도록 하여, 유입되는 위성이 해당 지역에 대해 연합 학습을 계속 수행할 수 있게 한다. 우리는 알고리즘의 수렴 거동을 이론적으로 분석하고, 위성별 네트워크 자원을 포함하여 위성으로의 지상 장치 데이터 오프로드량과 위성의 연산 속도를 최적화하는 훈련 지연(latency) 최소화기를 개발한다. 세 가지 데이터셋에 대한 실험을 통해, 우리의 방법론이 지상 전용 및 기타 위성 기반 기준 접근법에 비해 연합 학습의 수렴을 유의미하게 가속할 수 있음을 보인다.

모델의 크기가 증가할수록, 심층 신경망(DNN)을 사용하여 예측을 수행하는 일은 계산 비용이 점점 더 커지고 있다. 멀티-엑싯 신경망(multi-exit neural network)은 초기 종료(early exits)를 통해, 실제로 시간에 따라 변동할 수 있는 현재 테스트 시 예산(test-time budget)에 맞추어 유연하게 anytime 예측을 수행할 수 있는 유망한 해결책이다(예: 속도가 동적으로 변하는 자율주행차). 그러나 초기 엑싯에서의 예측 성능은 일반적으로 최종 엑싯에 비해 훨씬 낮으며, 이는 테스트 시 예산이 타이트한 저지연(low-latency) 응용에서 중대한 문제가 된다. 모든 엑싯의 손실을 동시에 최소화하도록 각 블록을 최적화하는 선행 연구들과 비교하여, 본 연구에서는 개별 블록에 서로 다른 목표를 전략적으로 부여하는 방식으로 멀티-엑싯 신경망을 학습하기 위한 새로운 방법을 제안한다. 제안한 아이디어는 그룹화 및 중첩(overlapping) 전략에 기반하여, 이후 엑싯의 성능을 저하시키지 않으면서 초기 엑싯에서의 예측 성능을 향상시킨다. 이로써 본 설계는 저지연 응용에 더욱 적합해진다. 이미지 분류와 의미 분할(semantic segmentation) 모두에 대해 수행한 광범위한 실험 결과는 본 접근법의 우수성을 확인해 준다. 제안한 아이디어는 모델 아키텍처의 어떠한 수정도 필요로 하지 않으며, 멀티-엑싯 신경망의 성능을 향상시키기 위해 기존에 사용되는 전략들과 손쉽게 결합될 수 있다.

네트워크 엣지에서 지능형 서비스에 대한 수요가 증가함에 따라 여러 연구 과제가 제기되었다. 그중 하나는 서로 다른 응용 전반에서 개인화(개별 클라이언트에 대한) 및 일반화(미지 데이터에 대한) 특성을 동시에 달성하는 기계 학습 아키텍처의 필요성이다. 또 다른 과제는 테스트 시점에서 네트워크 자원 및 지연 시간 제약을 만족할 수 있는 추론 전략의 필요성이다. 연합 학습에서의 기존 기법들은 개인화와 일반화 사이에 급격한 트레이드오프를 겪었으며, 추론 단계에서의 자원 요구사항을 명시적으로 고려하지 않았다. 본 논문에서는 자원 제약이 있는 클라이언트 전반에서 효율적인 추론을 위해 일반화/개인화를 동시에 포착하는 엣지-AI의 학습 및 추론 공동 전략인 SplitGP를 제안한다. SplitGP의 학습 과정은 연합 분할 학습(federated split learning)에 기반하며, 핵심 아이디어는 클라이언트 측 모델을 주된 과제에 맞춘 개인화 능력을 갖도록 최적화하는 한편, 서버 측 모델은 분포 외(out-of-distribution) 과제를 처리할 수 있는 일반화 능력을 갖도록 학습하는 것이다. 테스트 시점에는 각 클라이언트가 네트워크 자원 가용성에 따라 조정 가능한 불확실성 임계값을 기반으로 추론 작업을 서버에 선택적으로 오프로딩한다. SplitGP의 핵심 메타-파라미터 선택에 관한 지침을 제공하기 위해 형식적인 수렴 분석과 추론 시간 분석을 수행하였다. 실험 결과는 SplitGP가 기존 기준 모델들에 비해 우수함을 확인하였다.

다중 셀 무선 네트워크에서 연합 학습(Federated Learning, FL)을 통해 지능형 서비스를 제공하는 일은 클라이언트와 지역 전반에 걸친 다단계 분포 시프트뿐 아니라 엣지 서버와 클라우드 서버 간의 추가적인 통신 지연 때문에 더욱 어려워진다. 이러한 문제를 해결하기 위해, 우리는 중첩 영역의 클라이언트를 통합하고 다중-출구 신경 아키텍처를 도입하는 분할 학습 프레임워크인 SplitOMC를 제안한다. 이 프레임워크는 (i) 클라이언트 선호 작업, (ii) 비선호 작업, (iii) 비지역 작업을 함께 처리한다. 중첩 지역에 있는 클라이언트를 전략적으로 활용함으로써 SplitOMC는 과도한 백홀 통신 없이도 학습을 가속하는 동시에 개인화와 일반화 성능을 모두 유지한다. 우리는 제안 알고리즘의 수렴 거동을 이론적으로 분석하여 이질적인 데이터 및 통신 조건 하에서도 성능 안정성을 보장한다. MNIST, CIFAR-10/100 및 실제 Jetson Nano 테스트베드에 대한 광범위한 실험 결과, SplitOMC는 최신 방법들과 비교하여 학습과 추론을 일관되게 더 빠르게 수행하면서도 정확도를 향상시키는 것으로 나타났다. 특히, 이 프레임워크는 자원 제약이 있는 환경과 불안정한 네트워크 환경에서의 견고성을 보여 차세대 무선 지능형 서비스에 대한 실용적 가치를 부각한다.

분산형 연합 학습(Decentralized Federated Learning, DFL)은 로컬 데이터를 보유한 클라이언트들이 동료(peer-to-peer) 방식으로 협력하여 일반화된 모델을 학습할 수 있게 한다. 본 논문에서는 DFL에서 각각 중요 과제를 별도로 해결해 온 두 연구 흐름을 통합한다: (i) 데이터 이질성 완화를 위한 그래디언트 추적 기법과 (ii) 클라이언트들 간 자원의 상이한 가용성을 고려하는 방법이다. 우리는 (i) 클라이언트별 그래디언트 계산 주파수와 (ii) 이질적이며 비대칭적인 통신 주파수를 허용함으로써 일반적인 방향 그래프에 대해 이 두 요소를 통합하는 최초의 DFL 알고리즘인 $\text{Sporadic Gradient Tracking}$ ($\text{Spod-GT}$)를 제안한다. 우리는 그래디언트 추정의 분산과 클라이언트의 그래디언트 다양성에 대해 완화된 가정을 바탕으로, 중간중간에 클라이언트 참여가 이루어지더라도 방향 그래프에서 GT에 대해 합의(consensus)와 최적성(optimality) 보장을 제공하는 방식으로 방법론의 엄밀한 수렴 분석을 수행한다. 영상 분류 데이터셋에 대한 수치 실험을 통해, 잘 알려진 GT 기준 방법들과 비교하여 $\text{Spod-GT}$의 효율성을 입증한다.

다중모달 연합학습(Multimodal federated learning, MFL)은 클라이언트가 여러 양식(modality)에 걸쳐 측정을 수행하는 연합학습(FL) 환경에서 모델 학습을 풍부하게 하는 것을 목표로 한다. 그러나 MFL의 핵심 과제는 여전히 해결되지 않았으며, 특히 다음을 특징으로 하는 이질적 네트워크 환경에서는 그러하다: (i) 각 클라이언트가 수집하는 양식의 집합이 다양하고, (ii) 통신 제약으로 인해 클라이언트가 로컬에서 학습한 모든 양식 인코더를 서버에 업로드할 수 없다. 본 논문에서는 decoupled(분리형) 아키텍처와 선택적 업로드(selective uploading)를 통해 이러한 과제를 해결하는, 통신 효율적인 MFL 프레임워크인 다중모달 연합학습 with joint Modality and Client selection(MFedMC)을 제안한다. MFedMC는 전통적인 통합적(holistic) 결합(fusion) 접근과 달리, 양식 인코더(modality encoders)와 결합 모듈(fusion modules)을 분리한다. 구체적으로, 양식 인코더는 다양한 클라이언트 분포에 대한 일반화를 위해 서버에서 집계(aggregated)되는 반면, 결합 모듈은 각 클라이언트에 로컬로 유지되어 개별 양식 구성 및 데이터 특성에 대한 개인화된 적응(personalized adaptation)을 수행한다. 이러한 분리형 설계를 바탕으로, 공동 선택(joint selection) 알고리즘은 두 가지 주요 구성요소를 포함한다. (a) 각 클라이언트를 위한 양식 선택(modality selection) 방법론으로, (i) Shapley value 분석을 통해 평가한 양식의 영향, (ii) 통신 오버헤드의 지표로서의 양식 인코더 크기, (iii) 일반화(generalizability)를 향상시키기 위한 양식 인코더 업데이트의 빈도(reсency)를 가중치로 반영한다. (b) 서버가 각 클라이언트에서의 양식 인코더 로컬 손실(local loss)을 기반으로 수행하는 클라이언트 선택(client selection) 전략이다. 5개의 실제 데이터셋에 대한 실험 결과, MFedMC는 여러 기준(baselines)과 비교 가능한 정확도를 달성하면서도 통신 오버헤드를 20배 이상 감소시킨다. 데모 비디오 및 코드는 다음에서 제공된다: https://liangqiy.com/mfedmc/.

분산 연합 학습(Decentralized Federated Learning, DFL)은 로컬 데이터를 보유한 클라이언트들이 피어-투-피어 방식으로 협력하여 일반화된 모델을 학습할 수 있게 한다. 본 논문에서는 DFL에서 중요한 문제들을 각각 독립적으로 해결해 온 두 연구 흐름을 통합한다: (i) 데이터 이질성 완화를 위한 그래디언트 추적 기법과 (ii) 클라이언트 간 자원의 가용성 다양성을 고려하는 방법. 우리는 $ \textit{Sporadic Gradient Tracking}$($\texttt{Spod-GT}$)를제안하는데,이는일반적인유향그래프에서(i)클라이언트별그래디언트계산빈도와(ii)이질적이며비대칭적인통신빈도를허용함으로써이들요인을반영하는최초의DFL알고리즘이다.우리는그래디언트추정의분산과클라이언트의그래디언트다양성에대해완화된가정을바탕으로본방법론에대한엄밀한수렴분석을수행하며,간헐적으로클라이언트참여가이루어지는경우에도유향그래프에서GT에대해합의(consensus)및최적성(optimality)보장을제공한다.영상분류데이터셋에대한수치실험을통해,알려진GT기준방법들과비교하여$ exttt{Spod-GT}$의 효율성을 입증한다.