연구 영역
기본 정보
논문·특허
과제
구성원
Article|
·
인용수 3
·2025
LowGradQ: Adaptive Gradient Quantization for Low-Bit CNN Training via Kernel Density Estimation-Guided Thresholding and Hardware-Efficient Stochastic Rounding Unit
Sangbeom Jeong, Seungil Lee, Hyun Kim
초록

본 논문은 온디바이스 CNN 학습의 효율성에 대한 요구가 증가하는 상황에 대응하기 위해, 이중-스케일 적응형 기울기 양자화(DAGQ)를 적용한 하드웨어 효율적인 INT8 학습 프레임워크를 제안한다. DAGQ는 크기가 작은 기울기와 큰 기울기를 모두 포착하여, 양자화 오차를 최소화하면서도 견고한 저비트 학습을 보장한다. 또한 저비트 학습에서 사용되는 확률적 반올림의 계산 및 메모리 요구를 줄이기 위해, 재사용 가능한 LFSR 기반 확률적 반올림 단위(RLSRU)를 도입한다. 이는 랜덤 수를 효율적으로 생성하고 재사용하여 하드웨어 복잡도를 최소화한다. 제안된 프레임워크는 다양한 네트워크에서 최소한의 정확도 손실로 안정적인 INT8 학습을 달성하며, RTL 기반 하드웨어 가속기에서 구현 가능하므로 자원이 제한된 환경에 적합하다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.

키워드
RoundingQuantization (signal processing)Computer scienceThresholdingKernel (algebra)Artificial intelligenceKernel density estimationEstimatorAlgorithmPattern recognition (psychology)
타입
Article
IF / 인용수
- / 3
게재 연도
2025