가지치기(pruning) 방법은 추가 학습 비용 없이도 모델 성능을 효과적으로 유지하지만, 흔히 중요한 연결을 보존하는 데만 초점을 맞추어, 가지치기된 가중치(pruned weights)가 후속 미세조정(fine-tuning)이나 증류(distillation)에 미치는 영향을 간과함으로써 비효율을 초래한다. 또한 생성 모델을 위한 대부분의 압축(compression) 기법은 주로 GAN을 위해 개발되어 StyleGAN과 같은 특정 아키텍처에 맞춰져 있으며, Diffusion 모델을 압축하는 연구는 이제 막 시작된 단계이다. 더 나아가 이러한 방법들은 종종 GAN 또는 Diffusion 모델에만 적용 가능하여, 두 가지 모델 유형 모두에서 작동하는 접근이 필요함을 보여준다. 본 논문에서는 두 모델 유형 모두에 적용 가능한, 가지치기된 가중치를 정제(refining)하기 위한 다목적 기법인 특이값 스케일링(Singular Value Scaling, SVS)을 제안한다. 우리의 분석에 따르면, 가지치기된 가중치는 종종 지배적인 특이벡터(dominant singular vectors)를 보이며, 이로 인해 미세조정의 효율성이 저해되고 무작위 초기화(random initialization)와 비교하여 성능이 최적이 아님이 나타난다. 본 방법은 가지치기된 가중치의 특이값(singular values) 간 불일치를 최소화함으로써 가중치 초기화를 향상시켜 미세조정 과정을 개선한다. 이러한 접근은 압축된 모델이 더 우수한 해로 유도될 뿐 아니라 미세조정 속도도 유의미하게 향상시킨다. StyleGAN2, StyleGAN3 및 DDPM에 대한 광범위한 실험 결과, SVS는 추가 학습 비용 없이도 모델 유형 전반에 걸쳐 압축 성능을 개선함을 보여준다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.