본 논문은 이질적인 처리 장치(PU)를 갖춘 엣지 디바이스에서 다수의 심층 신경망(DNN)의 실행을 효율적으로 스케줄링하기 위한 계층적 디스패처 아키텍처를 제시한다. 제안된 아키텍처는 PU가 단일 엣지 디바이스에 통합되어 있거나 여러 디바이스에 분산되어 있는 시스템에 적용 가능하다. 우리는 디스패처와 스케줄링 정책을 분리한다. 본 프레임워크에서 디스패처는 다양한 PU에 걸쳐 DNN의 서브그래프를 할당, 실행 및 관리하는 메커니즘으로 작동하며, 스케줄링 정책은 최적화된 스케줄링 순서를 생성한다. 본 연구는 고수준 및 저수준 디스패처로 구성된 계층적 구조를 정식화하였고, 이는 다양한 DNN 워크로드에 대해 확장 가능하고 유연한 스케줄링 지원을 함께 제공한다. 고수준 디스패처는 서브그래프의 분할 및 분배를 감독하는 반면, 저수준 디스패처는 할당된 PU에서 서브그래프의 실행과 조정을 담당한다. 이러한 책임의 분리는 동종 및 이종 환경 모두에서 워크로드를 효율적으로 관리할 수 있게 해준다. 엣지 디바이스에 대한 사례 연구를 통해 제안된 아키텍처의 실용성을 입증한다. 적절한 스케줄링 정책을 통합함으로써, 본 접근법은 평균 성능을 51.6% 향상시키며, 이질적인 엣지 시스템에 딥러닝 모델을 배치하기 위한 확장 가능하고 적응 가능한 해법을 제공한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.