포그 컴퓨팅의 등장은 클라우드에서 네트워크 지연과 혼잡을 감소시키는 데 유망한 결과를 보여주었다. 이러한 환경에서는 지리적으로 분산되어 있고 자원이 제한된 포그 노드에서 시공간 부하 버스트(spatio-temporal load bursts)를 처리하기 위한 효과적인 오토스케일링(autoscaling)이 시의적절한 문제로 대두되었다. 오토스케일링의 전형적인 전략은 포그 노드와 배치된 서비스 인스턴스에 대한 중앙집중식 모니터링에 기반한다. 그러나 포그 노드의 수가 증가함에 따라 오토스케일링을 위한 메트릭(metrics)의 중앙집중식 수집 및 분석은 비실현적이 될 수 있다. 또한 포그 노드의 동적이고 변동적인 특성은 포그 컴퓨팅 환경에서 효과적인 오토스케일링을 어렵게 만든다. 본 연구에서는 다중 에이전트 강화학습(multi-agent reinforcement learning)에 기반하여 마이크로서비스 인스턴스를 스케일링하고 배치하는 계층적 분산 오토스케일러인 HiDRA를 제안한다. HiDRA에서 에이전트는 스케일링 에이전트와 배치 에이전트로 나뉘며, 이들은 포그 컴퓨팅에서 시공간 부하 버스트를 효과적으로 처리하기 위해 상호 협력한다. Deep Q-Network 기반 오토스케일링 에이전트는 런타임 시 자신의 지역적 관측(regional observations)만을 기반으로 학습되므로, 메트릭의 중앙집중식 수집이 필요 없다. 우리는 실제 데이터셋을 사용하여 생성한 여러 시뮬레이션 포그 환경에서 HiDRA를 평가하였다. 각 환경은 3가지 수준의 희소성(sparsity)으로 나누었고, 각 수준은 초기 인스턴스 수 20, 15, 10개와 불안정 노드(unstable nodes)로 구성되었다. 그 결과, 기준(baseline) 대비 비율로 보았을 때 HiDRA는 평균 요청 성공률(request success rate)을 초기 인스턴스 수 20, 15, 10개 및 불안정 노드가 있는 환경에서 각각 10.7%, 16.4%, 36.7% 증가시켰으며, 생성된 인스턴스 수는 각각 12.3%, 15.9%, 16.8% 감소시켰다.

사물인터넷(IoT)은 공유 가능한 장치를 사용하여 공공장소에서 사용자 일상생활을 향상시키는 서비스를 제공함으로써 더 많은 관심을 받고 있다. 그러나 불확실한 요인과 환경 내의 다른 서비스는 서비스에 심각한 영향을 미칠 수 있으며, 그 결과 사용자의 만족도가 낮아진다. 다중 에이전트 강화학습과 클러스터 기반 연합학습을 기반으로 하는 자율 서비스 에이전트는 정교한 모델링 및 탐지 과정 없이도 사용자 피드백으로부터 요인이 복잡하게 미치는 영향을 학습할 수 있다. 그러나 종래 접근법은 서비스 에이전트의 다중 클러스터링 차원과 에이전트에 영향을 주는 동적인 환경 맥락을 처리하는 데 한계가 있다. 본 연구에서는 공공 IoT 환경에서 서비스 에이전트를 효율적으로 훈련하기 위한 다차원 및 다중에이전트 연합 강화학습(multidimension and multiagent federated reinforcement learning; MultiFedRL)을 제안한다. 첫째, 여러 클러스터링 차원에 대한 신경망의 병렬 구조를 제안하여 파라미터를 독립적으로 공유함으로써 종래의 클러스터 기반 연합학습의 한계를 해결한다. 둘째, 정적 특성과 동적 상태로 구성된 물리적 맥락을 에이전트가 요약하고 해석할 수 있도록, 환경 중심의 학습 가능한 통신 프로토콜을 제안한다. MultiFedRL을 평가하기 위해, 중요 물리 현상을 기반으로 사용자-서비스 상호작용을 모사하여 공공장소에서 모바일 사용자에게 제공되는 IoT 서비스를 위한 시뮬레이션 프레임워크를 개발하였다. 실험 결과, MultiFedRL은 최신 기술의 클러스터 기반 연합학습과 비교하여 사용자 만족도를 82.9% 증가시키고 훈련 효율성을 24.5% 향상시키는 것으로 나타났다.