강화학습(RL)은 신호 제어를 위한 효과적인 접근으로 부상하였으며, 여러 연구에서는 RL을 네트워크 전반의 신호 제어 문제에 적용하고자 시도해 왔다. 네트워크 전반의 신호 제어를 위한 기존 방법 대부분은 사전 학습된 모델을 네트워크에 독립적으로 적용하거나, 이웃에 대한 관측 범위를 단순히 확장하는 방식에 그친다. 최근 몇몇 연구에서 다중에이전트 강화학습(MARL) 접근을 활용한 협력적 신호 제어 모델을 제안했음에도 불구하고, 정책의 전이성(transferability)은 고려되지 않았다. 이러한 문제는 수요 패턴에 대한 데이터 분포의 가능성이 무수히 많기 때문에 다중에이전트 신호 제어 문제를 다룰 때 더욱 중요해진다. 따라서 본 연구의 목적은 전이 가능하면서도 협력적인 다중에이전트 교통신호 제어 모델을 개발하는 것이다. 핵심 아이디어로서, 교통 동역학의 공간적 상관성을 모델 설계에 반영하고 상태에 대한 그래프 표현을 활용하는 분산형 및 통신 기반 MARL 접근을 제안한다. 한국 서울의 남산(Seoul) 강남구(Gangnam) 지역을 모사한 시뮬레이션 환경에서 3개의 실험을 수행하여 1) 모델을 검증하고, 2) 정책의 전이성을 평가하며, 3) 다중에이전트 협력의 효율을 평가한다. 실험 결과, 제안된 모델은 경험하지 않은 수요 시나리오에 적응할 수 있는 전이 가능한 정책을 획득함을 보여준다. 또한 제안된 RL 모델의 공동 행동이 교통 수요를 협력적으로 재균형(rebalance)하여 네트워크 전반 신호 제어의 효율을 향상시킨다는 점이 결론으로 도출되었다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.