비전 트랜스포머는 다양한 컴퓨터 비전 작업에서 뛰어난 성능을 보이지만, 높은 계산 비용으로 인해 자원이 제한된 장치에서의 활용이 제한되어 복잡도 절감의 필요성이 강조된다. 본 논문에서는 비전 트랜스포머의 저복잡도를 위한 동적 패치 프루닝(dynamic patch pruning), 즉 DPP-ViT를 제안한다. 상대적으로 더 중요한 패치를 식별하기 위해 어텐션 맵의 열(column) 방향 누적을 계산하고, 이를 중요도 점수(importance scores)로 사용한다. 블록 단위 중요도 점수 임계값을 적용하는 DPP-ViT를 통해, 이미지 단위의 어려움과 블록 단위의 민감도를 함께 고려하며, 정확도에 가장 적게 기여하는 패치들을 제거한다. 또한 프루닝 인지(pruning-aware) 행(row) 수준 재구성을 적용하여 데이터플로우와 PE 구조를 동적으로 변경하는 재구성 가능 가속기(reconfigurable accelerator)도 제시한다. DPP-ViT는 ImageNet top-1 정확도에서 DeiT-B 모델에 대해 경미한 -0.25% 성능 저하와 함께 계산을 47%까지 절감한다. 제안하는 재구성 가능 가속기는 EdgeCPU, EdgeGPU 및 비전 트랜스포머 가속기 ViTCoD에 비해 각각 47.96×/4.36×/1.47×의 속도 향상을 달성한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.