트랜스포머 기반 파운데이션 모델의 규모와 복잡성이 커짐에 따라, 특히 자원이 제한된 환경에서 이들을 효율적으로 배치하는 데 상당한 어려움이 발생하고 있다. 최근의 후학습(post-training) 가지치기 또는 희소 + 저랭크 분해와 같은 방법들은 재학습 없이 모델 크기를 줄이지만, 여전히 32비트/고정밀(full-precision) 가중치에 의존하여 메모리 대역폭과 지연 시간에서의 이득을 제한한다. 본 논문에서는 희소 및 저랭크 분해를 통한 이상치(outlier) 인지 가지치기와 성분(component)-단위 헤시안(Hessian) 인지 양자화를 결합한 통합 후학습 양자화(PTQ) 프레임워크인 QSLR을 제안한다. 분해된 각 구성요소(희소 행렬, 저랭크 좌측 인자, 저랭크 우측 인자)는 투영된 헤시안을 사용하여 독립적으로 양자화되며, 불필요한 헤시안 계산을 제거하기 위한 효율적인 근사 기법이 사용된다. 또한 2차(Second-order) 양자화 손실을 최소화하기 위해 헤시안 가중 그리드 탐색으로 양자화 파라미터를 추가로 최적화한다. LLaMA2-7B 및 ViT-Base에 대한 실험 결과, QSLR은 최소한의 정확도 저하로 최대 5× 모델 압축을 달성하며, 기존의 최첨단 가지치기 또는 양자화 방법들을 일관되게 능가함을 보였다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.