본 연구의 목표는 블록 페이딩 채널을 갖는 단일 대기열 및 단일 서버 무선 통신 시스템에서, 평균 에너지 소비 제약 하에 평균 지연을 최소화하는 것이다. 이를 위해 본 연구는 이 문제를 무한 기간 제약 마르코프 결정 과정(CMDP)으로 정식화한다. 본 CMDP에서는 대기열 길이와 채널 상태를 상태로서 함께 고려한다. 라그랑주 승수 방법을 적용하여 제약 최적화 문제를 무제약 최적화 문제로 변환한다. 이어서 최적 스케줄링 전략이 대기열 길이 및 채널 상태에 관해 단조증가함을 증명한다. 최적 스케줄링 정책을 얻기 위해 효율적인 강화학습 알고리즘인 Structural-Optimistic $Q$ -learning 알고리즘(SOQ)을 제안하며, 정책 투영을 사용하여 최적 정책의 단조증가 성질을 활용한다. 마지막으로 주어진 에너지 소비 제약을 만족하도록 평균 에너지 소비를 제어하는 방법을 분석한다. 시뮬레이션 결과, 학습 단계 동안의 평균 비용 측면에서 SOQ의 성능이 전통적인 $Q$ -learning 알고리즘보다 우수함을 보여준다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.