최근 학계 및 산업계에서는 Deep Neural Network (DNN) 을 개발할 때, 다양한 numeric format을 활용하고 있음. 이러한 emerging DNN을 GPU 기반 system에서 실행할 때, 다음과 같은 문제가 발생함. 첫째, GPU 기반 multi-tenant system에서 inference 시, resource contention으로 인해 task 별 queuing delay가 증가함. 둘째, GPU hardware의 제한된 numeric format 지원으로 인해 emerging DNN 실행 시, GPU 핵심 hardware resource의 개별 utilization (하나의 register, CUDA core, tensor core 안의 resource 사용 비율 (하나의 register, arithmetic unit 안의 resource 사용 비율)이 저하됨. 이러한 문제를 해결하고 비용 효율적인 DNN 가속을 하기 위해 본 연구는 새로운 GPU 기반 시스템 구조를 연구함. 제안하는 시스템을 위해 본 연구는 다음의 세 가지 요소로 구성됨. 첫째, multi-tenant DNN inference 시 queuing delay를 줄이는 software 기술 개발함. 둘째, emerging DNN을 위한 GPU software framework을 구현함. 셋째, emerging DNN을 위한 GPU microarchitecure을 설계함.