DNN 압축을 위한 양자화-가지치기 통합 학습 연구

Unified Quantized Sparse Training for Deep Neural Network Compression

연구 내용

심층신경망에서 가지치기와 양자화를 단일 학습 과정으로 통합하여 모델 크기와 정확도 균형을 동시에 달성하는 연구

심층신경망은 대규모 파라미터와 계산 비용을 요구하므로 모델 경량화가 핵심 과제가 됩니다. 본 연구는 Pruning과 Quantization을 분리 최적화하지 않고, 기울기 기반 학습에 Straight-Through Estimator를 결합하여 한 번의 학습 절차 안에서 희소화와 저정밀화를 동시에 유도하는 방식으로 수행합니다. 또한 처음부터 압축된 구조로 학습되도록 설계하여, 압축 과정에서 발생하는 하이퍼파라미터 선택 부담과 성능 저하 가능성을 낮추는 차별성을 보유합니다.

관련 프로젝트

0건

연구 흐름

초기에는 DNN에서 Pruning과 Quantization을 각각 적용하던 방식의 한계를 정리하고, 두 기법을 동시에 학습하는 통합 프레임워크 방향을 설정했습니다. 이후 2022년 Quantized Sparse Training을 제안하며, 기울기 기반 최적화에서 가지치기 구조와 양자화 조건을 함께 업데이트하는 체계를 확립했습니다. 2023년에는 채널 수준을 넘어 더 세밀한 구조 단위를 다루는 확장 축과 연계하여 압축 성능과 실제 가속 호환성을 동시에 고려하는 연구로 심화했습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

실시간 추론 경량화
엣지 디바이스 배포
GPU/가속기 친화 모델
모델 크기-정확도 동시 최적화
하드웨어 제약 대응 양자화
채널·필터 단위 희소화
전력 효율 향상
온디바이스 학습 지원
대규모 모델 서빙 비용 절감
압축 자동 설계 파이프라인