심층 신경망은 일반적으로 방대한 파라미터와 연산을 필요로 한다. 가지치기(pruning)와 양자화(quantization) 기법은 심층 모델의 복잡도를 줄이기 위해 널리 사용되어 왔다. 두 기법은 함께 적용될 때 유의미하게 더 높은 압축률을 구현할 수 있다. 그러나 별도의 최적화 과정과 하이퍼파라미터 선택에 따른 어려움은 두 기법을 동시에 적용하는 데 제약이 된다. 본 연구에서는 가지치기와 양자화를 단일한 학습 과정에서 함께 수행하는 새로운 압축 프레임워크인 ‘양자화 희소 학습(quantized sparse training)’을 제안한다. 우리는 직통 추정기(straight-through estimator)에 기반한 그래디언트 기반 최적화 과정에 가지치기와 양자화를 통합한다. 양자화 희소 학습을 통해, 처음부터(스크래치) 네트워크를 동시에 학습하고 가지치기 및 양자화를 수행할 수 있다. 실험 결과는 제안 방법론이 모델 크기와 정확도 모두에서 최근의 최첨단(state-of-the-art) 기준 모델에 비해 우수함을 검증하였다. 구체적으로, 양자화 희소 학습은 정확도 저하 없이 VGG16의 경우 135 KB의 모델 크기를 달성하며, 이는 최신 가지치기 및 양자화 접근법에서 가능했던 모델 크기의 40%에 해당한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.