연합학습(Federated learning, FL)은 중앙 서버와 사용자 데이터를 공유하지 않고도 기계학습 모델을 학습하기 위한 분산형 학습 접근법이다. FL은 학습 과정에서 개인정보 유출 위험을 완화하는 실용적인 해결책으로 여겨지지만, 특히 수십억 명 규모의 모바일 사용자를 고려할 때 그 환경적 영향은 상당할 수 있다. 본 서한에서는 서버 측 FL 설정과 클라이언트 이질성 모두를 고려하면서, FL의 탄소 비용을 먼저 시연하고 탄소발자국(Carbon footprint, CF)을 정량화 및 특성화함으로써 프라이버시에 대한 탄소 비용을 규명한다. 분석 결과, CF-최적 FL 설정은 서비스 수준 목표(service level objective)에 따라 달라지며, 클라이언트 이질성은 FL의 CF 최적화를 추가로 복잡하게 한다. 우리는 본 연구가 탄소 효율적인 FL 시스템을 설계하기 위한 실용적 지침이 될 것이라 믿는다.

대규모 언어 모델(Large Language Models, LLMs)의 광범위한 사용과 함께, 다양한 사용자의 요구를 충족하는 개인화 모델에 대한 수요가 증가하고 있다. LLM을 사적으로, 네트워크에 의존하지 않게 개인화하기 위해 온디바이스 미세조정(on-device fine-tuning)이 주목받고 있다. 그러나 온디바이스 미세조정은 계산 및 메모리 집약적 연산을 순차적으로 실행하는 경우가 많아 자원을 충분히 활용하지 못함으로써 효율성과 확장성의 문제에 직면한다. 본 서한에서는 메모리 및 계산 집약적 연산을 자원 효율적인 비동기 병렬 실행으로 처리하여 온디바이스 미세조정을 가속하는 프레임워크 ReAx를 제안한다. 메모리 사용량을 증가시키지 않으면서, ReAx는 기준선(baseline)과 비교하여 평균 미세조정 성능과 에너지 소비를 각각 10.42% 및 5.55% 향상시킨다. 긍정적인 부수 효과로, 비동기 매개변수 업데이트는 스트림 간의 약간의 지연으로 인해 그래디언트 잡음(gradient noise)을 유발하며, 이는 미니배치 간의 불리한 업데이트에 대한 정규화(regularizer)로 작용하지만 정확도는 손상시키지 않는다.

연합 학습(Federated Learning, FL)은 클라우드 서버와 기기 내 학습 샘플을 공유하지 않고 DNN 모델을 학습하기 위한 분산형 접근법이다. DNN 학습에서 개인정보 유출을 방지하기 위한 실용적인 해법임에도 불구하고, FL의 환경적 영향은 수십억 명의 모바일 사용자가 있다는 점에서 상당할 수 있다. 그러나 이질적인 탄소 집약도, 시스템/데이터 이질성, 네트워크 변동성 등 FL의 고유한 특성 때문에 FL의 탄소 배출을 최적화하는 데에는 어려움이 있다. 본 논문에서는 상기 특성을 고려하여 참여자 및 해당 학습 샘플을 탄소 효율적으로 선택할 수 있는 탄소 인지(carbon-aware) 연합 학습 알고리즘 ---CLOVER---를 제안한다. 다양한 DNN 모델과 데이터셋의 조합을 사용한 실험에서, CLOVER는 평균적으로 FL의 탄소 효율성을 25.0% 향상시키면서도 더 나은 정확도로 수렴성은 여전히 보장한다.

증가하는 컴퓨팅 수요가 환경에 미치는 영향을 개선하기 위해, 향후 응용에서는 컴퓨팅 인프라의 탄소 효율을 향상시킬 필요가 있다. 그러나 최신 연구 접근법들은 재생에너지의 간헐적 특성을 고려하지 않는다. 컴퓨팅을 구동하는 전력을 공급하는 에너지의 시간 및 위치 기반 탄소 집약도는, 연산이 어떻게 수행되는지를 결정할 때 무시되어 왔다. 이는 새로운 과제를 제기하는데, 즉 소비자 단말의 엣지와 클라우드의 서버 전반에 걸쳐 애플리케이션을 언제, 어디서 실행할지 결정해야 한다는 점이다. 이러한 스케줄링 결정은 확률적 런타임 변동성과 증가하는 내재 배출(embodied emissions)의 상각(amortization) 때문에 더욱 복잡해진다. 본 연구는 엣지-클라우드 인프라 전반에서 그린 애플리케이션을 위한 탄소 인지 스케줄링(carbon-aware scheduling)의 설계 및 최적화 공간을 이해하기 위한 프레임워크 GreenScale을 제안한다. 인프라 구성요소들의 정량화된 탄소 배출량에 기반하여, 성능 및 에너지 효율에 최적화하는 것과 비교할 때 탄소에 최적화하는 방식이 고유한 스케줄링 해를 도출함을 보인다. AI, Game, AR/VR의 세 가지 대표적인 애플리케이션 범주에 대한 평가를 통해 GreenScale로 애플리케이션의 탄소 배출을 최대 29.1%까지 감소시킬 수 있음을 확인하였다. 또한 본 연구의 분석은 엣지-클라우드 애플리케이션 개발자들이 그린 애플리케이션을 구축하기 위한 상세한 로드맵을 제공한다.

연합학습(Federated learning, FL)은 중앙 서버와 사용자 데이터를 공유하지 않고도 기계학습 모델을 학습하기 위한 분산형 학습 접근법이다. FL은 학습 과정에서 개인정보 유출 위험을 완화하는 실용적인 해결책으로 여겨지지만, 특히 수십억 명 규모의 모바일 사용자를 고려할 때 그 환경적 영향은 상당할 수 있다. 본 서한에서는 서버 측 FL 설정과 클라이언트 이질성 모두를 고려하면서, FL의 탄소 비용을 먼저 시연하고 탄소발자국(Carbon footprint, CF)을 정량화 및 특성화함으로써 프라이버시에 대한 탄소 비용을 규명한다. 분석 결과, CF-최적 FL 설정은 서비스 수준 목표(service level objective)에 따라 달라지며, 클라이언트 이질성은 FL의 CF 최적화를 추가로 복잡하게 한다. 우리는 본 연구가 탄소 효율적인 FL 시스템을 설계하기 위한 실용적 지침이 될 것이라 믿는다.

대규모 언어 모델(Large Language Models, LLMs)의 광범위한 사용과 함께, 다양한 사용자의 요구를 충족하는 개인화 모델에 대한 수요가 증가하고 있다. LLM을 사적으로, 네트워크에 의존하지 않게 개인화하기 위해 온디바이스 미세조정(on-device fine-tuning)이 주목받고 있다. 그러나 온디바이스 미세조정은 계산 및 메모리 집약적 연산을 순차적으로 실행하는 경우가 많아 자원을 충분히 활용하지 못함으로써 효율성과 확장성의 문제에 직면한다. 본 서한에서는 메모리 및 계산 집약적 연산을 자원 효율적인 비동기 병렬 실행으로 처리하여 온디바이스 미세조정을 가속하는 프레임워크 ReAx를 제안한다. 메모리 사용량을 증가시키지 않으면서, ReAx는 기준선(baseline)과 비교하여 평균 미세조정 성능과 에너지 소비를 각각 10.42% 및 5.55% 향상시킨다. 긍정적인 부수 효과로, 비동기 매개변수 업데이트는 스트림 간의 약간의 지연으로 인해 그래디언트 잡음(gradient noise)을 유발하며, 이는 미니배치 간의 불리한 업데이트에 대한 정규화(regularizer)로 작용하지만 정확도는 손상시키지 않는다.

연합 학습(Federated Learning, FL)은 클라우드 서버와 기기 내 학습 샘플을 공유하지 않고 DNN 모델을 학습하기 위한 분산형 접근법이다. DNN 학습에서 개인정보 유출을 방지하기 위한 실용적인 해법임에도 불구하고, FL의 환경적 영향은 수십억 명의 모바일 사용자가 있다는 점에서 상당할 수 있다. 그러나 이질적인 탄소 집약도, 시스템/데이터 이질성, 네트워크 변동성 등 FL의 고유한 특성 때문에 FL의 탄소 배출을 최적화하는 데에는 어려움이 있다. 본 논문에서는 상기 특성을 고려하여 참여자 및 해당 학습 샘플을 탄소 효율적으로 선택할 수 있는 탄소 인지(carbon-aware) 연합 학습 알고리즘 ---CLOVER---를 제안한다. 다양한 DNN 모델과 데이터셋의 조합을 사용한 실험에서, CLOVER는 평균적으로 FL의 탄소 효율성을 25.0% 향상시키면서도 더 나은 정확도로 수렴성은 여전히 보장한다.

증가하는 컴퓨팅 수요가 환경에 미치는 영향을 개선하기 위해, 향후 응용에서는 컴퓨팅 인프라의 탄소 효율을 향상시킬 필요가 있다. 그러나 최신 연구 접근법들은 재생에너지의 간헐적 특성을 고려하지 않는다. 컴퓨팅을 구동하는 전력을 공급하는 에너지의 시간 및 위치 기반 탄소 집약도는, 연산이 어떻게 수행되는지를 결정할 때 무시되어 왔다. 이는 새로운 과제를 제기하는데, 즉 소비자 단말의 엣지와 클라우드의 서버 전반에 걸쳐 애플리케이션을 언제, 어디서 실행할지 결정해야 한다는 점이다. 이러한 스케줄링 결정은 확률적 런타임 변동성과 증가하는 내재 배출(embodied emissions)의 상각(amortization) 때문에 더욱 복잡해진다. 본 연구는 엣지-클라우드 인프라 전반에서 그린 애플리케이션을 위한 탄소 인지 스케줄링(carbon-aware scheduling)의 설계 및 최적화 공간을 이해하기 위한 프레임워크 GreenScale을 제안한다. 인프라 구성요소들의 정량화된 탄소 배출량에 기반하여, 성능 및 에너지 효율에 최적화하는 것과 비교할 때 탄소에 최적화하는 방식이 고유한 스케줄링 해를 도출함을 보인다. AI, Game, AR/VR의 세 가지 대표적인 애플리케이션 범주에 대한 평가를 통해 GreenScale로 애플리케이션의 탄소 배출을 최대 29.1%까지 감소시킬 수 있음을 확인하였다. 또한 본 연구의 분석은 엣지-클라우드 애플리케이션 개발자들이 그린 애플리케이션을 구축하기 위한 상세한 로드맵을 제공한다.

연합 학습(Federated learning, FL)은 기계 학습 학습 과정에서의 개인정보 유출 위험을 다루기 위한 해결책으로 부상해 왔다. 이 접근법은 클라우드와 원시 온디바이스 학습 데이터를 공유하지 않고, 다양한 모바일 기기가 협력하여 기계 학습 모델을 학습할 수 있게 한다. 그러나 시스템/데이터 이질성과 런타임 변동성으로 인해 FL의 효율적인 엣지 배치는 어렵다. 본 논문은 상기 문제들을 고려함으로써, 모델 수렴을 보장하면서 FL 활용 사례의 에너지 효율을 최적화한다. 우리는 강화학습에 기반한 FedGPO를 제안하며, 이는 시스템/데이터 이질성과 확률적 런타임 변동성에 적응하여 각 FL 집계 라운드마다 최적의 전역 파라미터(B, E, K)를 식별하는 방법을 학습한다. 실험에서 FedGPO는 모델 수렴 시간을 각각 2.4배 개선하였고, 기준 설정 대비 에너지 효율을 3.6배 더 높게 달성하였다.

수십억 명의 모바일 사용자를 고려할 때, 엣지 컴퓨팅의 환경적 영향은 상당하다. 이를 해결하기 위해, 미래의 애플리케이션은 재생에너지 공급원을 기반으로 하는 ‘그린 컴포넌트’에서 계산을 수행해야 한다. 그러나 재생에너지원의 간헐적 특성으로 인해, 컴퓨팅 컴포넌트의 탄소 집약도는 사용 지역과 사용 시점에 따라 크게 달라질 수 있다. 이는 엣지 애플리케이션에 새로운 과제를 제기하는데, 즉 엣지의 소비자 디바이스들과 클라우드의 서버들 사이에서 언제, 어디에서 계산을 실행할지 결정해야 한다. 이러한 스케줄링 결정은 상승하는 체화(embodied) 배출의 상각과 확률적 런타임 변동성(stochastic runtime variance)으로 인해 더욱 복잡해진다. 본 연구는 그린스케일(GreenScale)이라는 지능형 실행 스케일링 엔진을 제안하며, 다양한 런타임 환경에서 엣지 애플리케이션이 탄소 최적의 실행 대상을 정확히 선택할 수 있도록 한다. AI, 게임(Game), AR/VR의 세 가지 대표적인 애플리케이션 범주를 대상으로 한 평가 결과, GreenScale을 통해 애플리케이션의 탄소 배출량을 평균 35.2%까지 줄일 수 있음을 보여주었다.

최근 엣지에서 DNN 추론을 수행하려는 요구가 증가하고 있다. 또한 복잡한 기능에 대한 요구가 늘어남에 따라, 지능형 서비스는 다중 DNN 워크로드를 활용한다. 다중 DNN 워크로드의 응답을 가속하기 위해서는 시판(기성) 이기종 처리 장치를 동시에 활용할 필요가 있다. 그러나 엣지 디바이스에서 다중 DNN 워크로드를 실행하는 일은 새로운 과제를 야기한다. 즉, 어떤 DNN을 어디에서 실행할 것인가이다. 이러한 실행 스케줄링 결정은 SoC에서의 런타임 변동성(예: 자원 경합 및 온도 변동)으로 인해 더욱 복잡해지며, 이는 궁극적으로 성능과 에너지 소비에 영향을 미친다. 본 논문에서는 엣지 디바이스를 위한 강화학습 기반 다중 DNN 추론 프레임워크인 Mediator를 제안하며, 이는 에너지 효율적인 DNN 스케줄링 결정을 도출한다. 최신 엣지 디바이스에서의 평가에서, Mediator는 지연(latency) 및 정확도(accuracy) 제약을 만족하면서, 기본(baseline) 다중 DNN 실행 기법 및 선행 다중 DNN 실행 기법에 비해 평균적으로 시스템 전체 에너지 소비를 31.8% 및 28.5% 절감하였고(최대 56.8% 및 64.9%), 동시에 이를 달성하였다.

본 논문은 에지에 배치된 상용 오프더셸프(Commercial-Off-The-Shelf) 장치에서, 사전 학습된 심층 신경망(DNN)들의 네트워크 추론을 수행하기 위한 새로운 접근 방식을 제시한다. 문제는 에너지 제약이 있고 성능이 제한된 에지 장치 $\mathcal{E}$와 에너지 제약이 없는 고성능 장치 $\mathcal{C}$—이하 cloudlet—사이에 DNN의 연산을 분할하는 것으로, 데드라인 제약을 만족하는 조건에서 $\mathcal{E}$의 에너지 소비를 최소화하는 것을 목표로 한다. 제안된 분할 알고리즘은 장치들에서 DNN을 실행할 때의 성능 프로파일, 전력 소비 프로파일, 그리고 무선 채널 지연의 변동성을 고려한다. 본 알고리즘은 에지 장치 $\mathcal{E}$로 NVIDIA Jetson Nano를 사용하고, cloudlet로 Titan Xp GPU를 탑재한 Dell 워크스테이션으로 구성된 플랫폼에서 시연된다. 실험 결과는 $\mathcal{E}$의 에너지 소비와 애플리케이션의 처리 지연 모두에서 유의한 개선을 보인다. 또한 데드라인 제약을 변경할 때 에너지 최적해가 어떻게 달라지는지를 보여준다. 더 나아가, 제안 방법의 의사결정에 따른 오버헤드는 기존의 정수 선형 계획(Integer Linear Programming, ILP) 해법에 비해 유의하게 낮다.

머신러닝(ML) 작업의 복잡성이 증대됨에 따라, 가변적인 연산 요구와 엄격한 지연 시간 요구로 인해 고유한 과제가 발생하는 엣지 환경에서 멀티테넌트 ML 워크로드를 신속히 배치하는 일이 늘어나고 있다. 본 논문은 엄격한 실행 시간 제약 하에서 이질적인 엣지(Multiprocessor System on Chip) MPSoC 상의 멀티테넌트 머신러닝(ML) 워크로드 실행을 최적화하도록 설계된 전사적 탄력적 스케줄러인 EMERALD를 제안한다. EMERALD는 입력 해상도 스케일링을 활용하여 딥 뉴럴 네트워크(DNN)의 연산 요구를 동적으로 조정함으로써, 높은 정확도를 유지하면서도 엄격한 지연 시간 요구를 충족할 수 있는 능력을 향상시킨다. 스케줄러는 두 가지 주요 구성 요소로 이루어진다: 로컬 탐욕 스케줄러와 글로벌 스케줄러이다. 로컬 스케줄러는 마감 시한 위반에 대응하여 입력 해상도를 적극적으로 조작하며, 정확도에 미치는 영향이 최소이고 응답 시간을 최대한 단축하는 해상도를 선택한다. 글로벌 스케줄러는 정수 선형계획(Integer Linear Programming, ILP) 기반 스케줄러로서, DNN 의존성, 장면 복잡도, 하드웨어 이질성, 그리고 입력 스케일링 조정과 관련된 정확도와 makespan 간의 트레이드오프와 같은 요소들을 고려하여 로컬 스케줄러의 결정을 정교하게 조정한다. 이러한 계층적 접근은 EMERALD가 계산 효율성과 정확도를 효과적으로 균형 있게 조절하도록 하며, 초당 30프레임을 요구하는 시나리오에서 CAMDNN과 HEFT에 비해 각각 누락된 마감 시한을 11배, 12.3배 더 적게 달성한다. 결과는 엣지 기반 ML 배치의 복잡성을 관리함에 있어 적응형 입력 해상도 스케일링이 핵심적 역할을 수행함을 보여준다.