온디바이스 딥 신경망(DNN) 추론은 사용자 경험과 프라이버시 측면에서 종종 바람직하다. 기존의 솔루션들은 추론 지연 시간을 최소화하기 위해 자원을 충분히 활용해 왔다. 그러나 이러한 방식은 서비스 구간에 필요한 시간보다 훨씬 일찍 DNN 추론을 완료함으로써 심각한 에너지 비효율을 초래한다. 이는 정해진 시간에 맞추면서도 에너지 효율적으로 DNN 추론을 수행하는 방법이라는 새로운 과제를 제기한다. 이 과제를 해결하기 위해, 우리는 DNN 처리에 대한 새로운 자원 할당 전략인 punctual laziness를 제안하며, 이는 엄격한 지연 제약 내에서 작업 부하를 가능한 한 효율적으로 시간에 분산시키는 방식이다. 이 전략은 DNN이 지연 시간과 에너지 소모가 예측 가능한 일련의 인기 연산자들로 구성된다는 점에서 특히 신경 워크로드에 유리하다. 이러한 이해를 바탕으로, 우리는 그 연산자들을 고려한 연산자-인식(operator-aware) 코어 및 메모리 주파수 스케일링 프레임워크인 NeuroBalancer를 제안하여, 적절한 추론 시점을 보장하면서도 해당 주파수들을 가능한 한 효율적으로 균형 있게 조정한다. 우리는 상용(시판) 안드로이드 기기에서 여러 최신 DNN 모델로 NeuroBalancer를 구현하고 평가한다. 그 결과, NeuroBalancer는 주어진 추론 지연 요구사항을 성공적으로 충족하면서, CPU와 GPU에서 각각 안드로이드의 기본 governor 대비 최대 43.9% 및 21.1%까지, 그리고 CPU와 GPU에서 각각 최신 모바일 governor인 SysScale 대비 최대 42.1% 및 18.6%까지 에너지 소모를 절감함을 보여준다.

본 연구에서는 무손실 데이터 전송을 위한 새로운 전달 방식, 즉 압축전송(compressive transmission)의 가능성을 탐색한다. 이는 송신자와 수신자 사이에서 공유되는 맞춤형 정보를 활용함으로써 실행 시 전송 데이터의 용량을 최소화하는 것을 목표로 한다. 공유 정보를 압축에 활용하기 위한 두 가지 접근법으로는 1) 공유 정보의 대리(proxy)로서 DNN 기반 코덱을 사용하는 방법과 2) 중복 제거(deduplication)를 통한 중복성 제거(redundancy elimination) 방법이 있다. 그러나 이러한 접근법들은 압축률과 공유 정보의 양 사이의 상충관계를 활용하기 위해 깊이 있게 연구되지 않았다. 이들 접근법에 비해 압축전송은 양측에서 이용 가능한 정보의 풍부함을 전적으로 활용하며, 이는 의도적으로 선택되고 배치된다. 이러한 개념을 현실화하기 위해, 우리는 생성 모델(generative model)과 매칭 블록(matching blocks)을 적응적으로 활용하는 신경망 기반 압축전송 시스템인 nCTX를 제안한다. nCTX는 입력 데이터로부터 최적의 의미론적 데이터를 추출하고, 공유 정보를 활용하여 원본을 보다 가깝게 모사한 뒤 오프셋(즉, 차이)으로 이를 보완한다. 모바일 플랫폼에서의 광범위한 평가는 nCTX가, 계산 시간이 비교 가능하거나 더 짧은 조건에서 각각 FLIF 및 RC(최첨단 이미지 코덱) 대비 전송 용량을 유의하게 25.8% 및 23.3% 감소시킴을 확인하였다.