연합학습(Federated learning, FL)은 중앙 서버와 사용자 데이터를 공유하지 않고도 기계학습 모델을 학습하기 위한 분산형 학습 접근법이다. FL은 학습 과정에서 개인정보 유출 위험을 완화하는 실용적인 해결책으로 여겨지지만, 특히 수십억 명 규모의 모바일 사용자를 고려할 때 그 환경적 영향은 상당할 수 있다. 본 서한에서는 서버 측 FL 설정과 클라이언트 이질성 모두를 고려하면서, FL의 탄소 비용을 먼저 시연하고 탄소발자국(Carbon footprint, CF)을 정량화 및 특성화함으로써 프라이버시에 대한 탄소 비용을 규명한다. 분석 결과, CF-최적 FL 설정은 서비스 수준 목표(service level objective)에 따라 달라지며, 클라이언트 이질성은 FL의 CF 최적화를 추가로 복잡하게 한다. 우리는 본 연구가 탄소 효율적인 FL 시스템을 설계하기 위한 실용적 지침이 될 것이라 믿는다.

대규모 언어 모델(Large Language Models, LLMs)의 광범위한 사용과 함께, 다양한 사용자의 요구를 충족하는 개인화 모델에 대한 수요가 증가하고 있다. LLM을 사적으로, 네트워크에 의존하지 않게 개인화하기 위해 온디바이스 미세조정(on-device fine-tuning)이 주목받고 있다. 그러나 온디바이스 미세조정은 계산 및 메모리 집약적 연산을 순차적으로 실행하는 경우가 많아 자원을 충분히 활용하지 못함으로써 효율성과 확장성의 문제에 직면한다. 본 서한에서는 메모리 및 계산 집약적 연산을 자원 효율적인 비동기 병렬 실행으로 처리하여 온디바이스 미세조정을 가속하는 프레임워크 ReAx를 제안한다. 메모리 사용량을 증가시키지 않으면서, ReAx는 기준선(baseline)과 비교하여 평균 미세조정 성능과 에너지 소비를 각각 10.42% 및 5.55% 향상시킨다. 긍정적인 부수 효과로, 비동기 매개변수 업데이트는 스트림 간의 약간의 지연으로 인해 그래디언트 잡음(gradient noise)을 유발하며, 이는 미니배치 간의 불리한 업데이트에 대한 정규화(regularizer)로 작용하지만 정확도는 손상시키지 않는다.