사물인터넷(IoT)은 공유 가능한 장치를 사용하여 공공장소에서 사용자 일상생활을 향상시키는 서비스를 제공함으로써 더 많은 관심을 받고 있다. 그러나 불확실한 요인과 환경 내의 다른 서비스는 서비스에 심각한 영향을 미칠 수 있으며, 그 결과 사용자의 만족도가 낮아진다. 다중 에이전트 강화학습과 클러스터 기반 연합학습을 기반으로 하는 자율 서비스 에이전트는 정교한 모델링 및 탐지 과정 없이도 사용자 피드백으로부터 요인이 복잡하게 미치는 영향을 학습할 수 있다. 그러나 종래 접근법은 서비스 에이전트의 다중 클러스터링 차원과 에이전트에 영향을 주는 동적인 환경 맥락을 처리하는 데 한계가 있다. 본 연구에서는 공공 IoT 환경에서 서비스 에이전트를 효율적으로 훈련하기 위한 다차원 및 다중에이전트 연합 강화학습(multidimension and multiagent federated reinforcement learning; MultiFedRL)을 제안한다. 첫째, 여러 클러스터링 차원에 대한 신경망의 병렬 구조를 제안하여 파라미터를 독립적으로 공유함으로써 종래의 클러스터 기반 연합학습의 한계를 해결한다. 둘째, 정적 특성과 동적 상태로 구성된 물리적 맥락을 에이전트가 요약하고 해석할 수 있도록, 환경 중심의 학습 가능한 통신 프로토콜을 제안한다. MultiFedRL을 평가하기 위해, 중요 물리 현상을 기반으로 사용자-서비스 상호작용을 모사하여 공공장소에서 모바일 사용자에게 제공되는 IoT 서비스를 위한 시뮬레이션 프레임워크를 개발하였다. 실험 결과, MultiFedRL은 최신 기술의 클러스터 기반 연합학습과 비교하여 사용자 만족도를 82.9% 증가시키고 훈련 효율성을 24.5% 향상시키는 것으로 나타났다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.