위성은 원활한 전역 네트워크 및 감시 서비스를 제공할 수 있는 주요 비지상(non-terrestrial) 네트워크로 구상되어 왔다. 다양한 위성 유형 가운데, 큐브위성(Cube Satellites, CubeSats)은 여러 대의 큐브위성을 목표 궤도에 동시에 그리고 지구에 근접한 상태로 손쉽게 배치할 수 있어 활발히 연구되어 왔다. 그러나 큐브위성은 소형이어서 상당한 크기의 배터리를 수용할 수 없으며, 이로 인해 임무 지속 시간에 제약이 따른다. 이러한 에너지 제한을 고려하여, 다수의 큐브위성을 이용한 전역 네트워크 서비스를 구현하기 위해 본 논문에서는 불확실성 하에서의 동적 제어를 위해 강화학습(Reinforcement Learning, RL)을 활용하는 에너지 효율적인 큐브위성을 위한 새로운 2단계 강화학습 알고리즘을 제안한다. 첫째, 연속 작용 영역에서 수직 위치 조정을 위한 딥 결정론적 정책 그래디언트(deep deterministic policy gradient)를 사용하여 단일 큐브위성의 궤도 기동에 대한 지속 가능한 제어를 고려한다. 둘째, 제안하는 양자 도메인에서의 Projection-Valued Measure(PVM)를 바탕으로 작용 차원을 로그 스케일(logarithmic scale)로 축소하도록 하여 다수 큐브위성의 협력적 스케줄링을 실현하기 위한 새로운 양자 다중 에이전트 강화학습 알고리즘을 설계한다. 단일 큐브위성과 다중 큐브위성 문제를 극단적인 에너지 관리 관점에서 별도로 고려할 수 없음을 강조한다. 성능 평가 결과, 제안한 알고리즘은 궤도 제어에서 1.51× 더 높은 성능, 거대한 작용 차원에서 수렴된 보상(converged reward)이 2.71× 더 높은 값, 평균 네트워크 성능이 2.27× 더 높은 값으로 다른 벤치마크 대비 우수함을 보였다.
*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.