본 논문은 이질적인 처리 장치(PU)를 갖춘 엣지 디바이스에서 다수의 심층 신경망(DNN)의 실행을 효율적으로 스케줄링하기 위한 계층적 디스패처 아키텍처를 제시한다. 제안된 아키텍처는 PU가 단일 엣지 디바이스에 통합되어 있거나 여러 디바이스에 분산되어 있는 시스템에 적용 가능하다. 우리는 디스패처와 스케줄링 정책을 분리한다. 본 프레임워크에서 디스패처는 다양한 PU에 걸쳐 DNN의 서브그래프를 할당, 실행 및 관리하는 메커니즘으로 작동하며, 스케줄링 정책은 최적화된 스케줄링 순서를 생성한다. 본 연구는 고수준 및 저수준 디스패처로 구성된 계층적 구조를 정식화하였고, 이는 다양한 DNN 워크로드에 대해 확장 가능하고 유연한 스케줄링 지원을 함께 제공한다. 고수준 디스패처는 서브그래프의 분할 및 분배를 감독하는 반면, 저수준 디스패처는 할당된 PU에서 서브그래프의 실행과 조정을 담당한다. 이러한 책임의 분리는 동종 및 이종 환경 모두에서 워크로드를 효율적으로 관리할 수 있게 해준다. 엣지 디바이스에 대한 사례 연구를 통해 제안된 아키텍처의 실용성을 입증한다. 적절한 스케줄링 정책을 통합함으로써, 본 접근법은 평균 성능을 51.6% 향상시키며, 이질적인 엣지 시스템에 딥러닝 모델을 배치하기 위한 확장 가능하고 적응 가능한 해법을 제공한다.

현대 항공 비행 시스템에서 소프트웨어는 기능, 안전 및 성능 요구사항을 충족하는 데 핵심적인 역할을 한다. 성능 향상과 Space, Weight, and Power(SWaP)를 위해 Integrated Modular Avionics(IMA)와 멀티코어 프로세서(MCP) 또한 하드웨어에 채택되고 있다. MCP는 효율을 개선하지만, 자원 경합(resource contention)으로 인해 비결정적(non-deterministic) 거동이 발생하며, 항공전자(avionics) 시스템의 안전성을 확보하는 데 어려움을 야기한다. 본 연구는 MCP 상에서 상용 실시간 운영체제(Real-Time Operating Systems, RTOS)를 대상으로 캐시 분할(cache partitioning)을 위한 실용적 방법을 제안하여 캐시 경합을 줄이고 항공전자 시스템의 안전성과 성능을 향상시키고자 한다. DO-178 및 CAST 32A에 기반한 체계적인 절차를 개발하여 공유 자원을 식별하고 간섭을 방지하였다. 또한 각 애플리케이션에 대해 최적의 캐시 분할을 결정하기 위한 캐시 분할 가이드 도구를 개발하였다. 본 연구는 PowerPC T2080 프로세서에서 WindRiver VxWorks 653을 사용한 결과, 공유 L2 캐시가 최대 88%에 이르는 심각한 성능 저하를 유발할 수 있음을 입증하였다. 제안된 분할 기법을 적용함으로써 시스템은 0% 성능 저하를 달성하여 캐시 경합을 제거하고 애플리케이션 성능의 일관성을 확보하였다. 분할 접근법은 또한 안전성-치명적(safety-critical) 시스템에서 핵심적인 요구사항인 결정적(deterministic) 애플리케이션 거동을 보장하였다. 비행 시뮬레이션 환경에서의 검증을 통해 본 방법이 실제 환경에서의 적용 가능성을 확인하였다.