멀티 액세스 엣지 컴퓨팅(MEC)은 특히 자원 집약적 애플리케이션의 신속하고 실시간 처리 지원과 관련하여, 엣지 디바이스의 컴퓨팅 부담을 완화하는 유망한 해결책으로 널리 인식되어 왔다. 본 논문에서는 엣지 디바이스가 경험하는 전체 작업 완료 지연(total task completion latency)을 최소화하는 것을 목표로, 멀티 에이전트 딥 강화학습(MADRL)에 기반한 분산형 오프로딩(offloading) 의사결정 전략을 제안한다. 제안하는 방식은 완전 분산 방식으로 오프로딩 초기화 단계에서 그랜트-프리(grant-free) 액세스 메커니즘을 채택하며, 이는 본 전략의 핵심 특징이다. 그 결과, 다수의 엣지 디바이스가 동시에 액세스를 시도함으로써 최적의 오프로딩 계수(offloading factor)를 결정하는 일이 유의하게 더 어려워진다. 이러한 문제를 해결하기 위해, 이산 작용 공간 기반 딥 강화학습(DRL) 접근법인 딥 Q 네트워크(deep Q network, DQN)를 고려하여, 각 엣지 디바이스가 전역 네트워크 정보 없이도 자신의 로컬 관측(local observation)만을 바탕으로 분산형 컴퓨팅 오프로딩 정책을 학습할 수 있도록 한다. 설계에서 각 엣지 디바이스는 관측된 채널 상태 및 활성 사용자 수에 따라 오프로딩 계수를 동적으로 조정함으로써 로컬 및 원격 컴퓨팅 부하를 적응적으로 균형 있게 유지한다. 또한 제안하는 MADRL 기반 프레임워크는 다중 사용자 환경에서의 액세스 충돌(access collisions)과 컴퓨팅 병목(computation bottlenecks)을 완화하기 위해 사용자 연결(user association)과 오프로딩 의사결정 최적화를 함께 고려한다. 우리는 제안한 전략의 성능을 평가하기 위해 MATLAB R2023b를 사용한 광범위한 컴퓨터 시뮬레이션을 수행하였으며, 다양한 시스템 구성에서의 작업 완료 지연에 초점을 맞춘다. 수치 결과는 제안한 전략이 기존 방식에 비해 전체 작업 완료 지연을 효과적으로 감소시키고 학습 성능의 더 빠른 수렴을 달성함을 보여주며, 제안한 분산형 접근의 효율성과 확장성을 확인한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.