기존의 양자화 접근법은 낮은 비트 폭으로 하이브리드 컨볼루션 및 트랜스포머 모델을 압축할 때 상당한 정확도 손실을 초래한다. 본 논문은 강화학습(RL)을 활용하는 새로운 사후 학습 양자화(PTQ) 프레임워크인 RL-PTQ를 제안한다. 우리는 계층을 그룹화하고 하이브리드 트랜스포머의 양자화에서 발생하는 문제를 다룸으로써, 혼합 정밀도를 위한 양자화 구성에 최적의 비트 폭 및 옵저버를 결정하는 데 초점을 둔다. 이전의 PTQ 방법들 [5--7]과 비교하여 MobileViTs에서 가장 높은 양자화 정확도를 달성하였다. 또한 PIM(Processing In Memory) 아키텍처에서의 우리의 양자화 모델은 최신 PIM 가속기 [15] 및 GPU에 비해 각각 기준 모델 대비 에너지 효율이 10.1× 및 22.6× 향상되었다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.