최근 엣지에서 DNN 추론을 수행하려는 요구가 증가하고 있다. 또한 복잡한 기능에 대한 요구가 늘어남에 따라, 지능형 서비스는 다중 DNN 워크로드를 활용한다. 다중 DNN 워크로드의 응답을 가속하기 위해서는 시판(기성) 이기종 처리 장치를 동시에 활용할 필요가 있다. 그러나 엣지 디바이스에서 다중 DNN 워크로드를 실행하는 일은 새로운 과제를 야기한다. 즉, 어떤 DNN을 어디에서 실행할 것인가이다. 이러한 실행 스케줄링 결정은 SoC에서의 런타임 변동성(예: 자원 경합 및 온도 변동)으로 인해 더욱 복잡해지며, 이는 궁극적으로 성능과 에너지 소비에 영향을 미친다. 본 논문에서는 엣지 디바이스를 위한 강화학습 기반 다중 DNN 추론 프레임워크인 Mediator를 제안하며, 이는 에너지 효율적인 DNN 스케줄링 결정을 도출한다. 최신 엣지 디바이스에서의 평가에서, Mediator는 지연(latency) 및 정확도(accuracy) 제약을 만족하면서, 기본(baseline) 다중 DNN 실행 기법 및 선행 다중 DNN 실행 기법에 비해 평균적으로 시스템 전체 에너지 소비를 31.8% 및 28.5% 절감하였고(최대 56.8% 및 64.9%), 동시에 이를 달성하였다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.