신경 아키텍처와 하드웨어 가속기의 공동 탐색(co-exploration)은, 특히 저전력·저형상(low-profile) 시스템에서의 계산 비용 문제를 해결하기 위한 유망한 접근으로 부상하고 있다. 그러나 강화학습이나 진화적 탐색에 기반한 기존의 공동 탐색 방법은 상당한 탐색 비용을 수반한다. 이를 해결하기 위해 본 연구는 하드웨어 및 네트워크 아키텍처 설계를 위한 공동 탐색을 미분가능하게(differentiable) 수행하는 접근인 DANCE++를 제안한다. DANCE++의 핵심에는 하드웨어 지표를 신경망으로 모델링하는 미분가능 평가자 네트워크가 있으며, 이를 통해 역전파(backpropagation)를 이용하여 가속기 설계를 가능하게 한다. DANCE++는 기존의 전통적 접근에 비해 탐색 시간을 크게 감소시키는 동시에 정확도 및 하드웨어 비용 지표를 향상시킨다. 또한 실제 환경을 더 잘 반영하기 위해, 본 연구는 두 가지 중요한 실무 주제를 구현한다: 강한 제약(hard constraints)과 데이터 의존성(data dependency)이다. 프레임 레이트 또는 면적 예산(area budget)과 같은 제약을 충족하기 위해, 본 연구는 미분가능 최적화(differentiable optimization)를 안내하여 강한 제약을 만족하는 해를 찾는 그래디언트 조작(gradient manipulation) 알고리즘을 제안한다. 더불어 학습 데이터셋에 접근할 수 없는 경우를 고려하기 위해, 본 연구는 공동 탐색 단계와 학습 단계 모두에서 데이터-프리(data-free) 학습 방법을 사용함을 제안한다. 우리가 아는 한, DANCE++는 이러한 실세계의 도전 과제를 대상으로 하는 최초의 공동 탐색 방법이며, 광범위한 실험을 통해 그 효과를 입증한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.