온디바이스 지속적 학습(on-device continual learning)의 목표는, 제한된 계산 자원과 메모리 제약 하에서도 이전에 획득한 지식을 망각하지 않으면서 스트리밍 데이터에 적응할 수 있도록 모델을 가능하게 하는 것이다. 최근 연구는 가중치 정규화 기반 방법이 간접적인 지식 보존의 한계와 민감한 하이퍼파라미터 설정에 의해 제약된다는 점을 보여주었으며, 동적 아키텍처(dynamic architecture) 방법은 구조가 확장됨에 따라 자원 소모가 증가하여 온디바이스 환경에 적합하지 않다는 것이 입증되었다. 이러한 한계를 보완하기 위해, 압축된 구조와 안정적인 성능을 유지하는 리플레이(replay) 기반 지속적 학습이 주목받고 있다. 리플레이 기반 지속적 학습의 한계는 (1) 제한된 메모리 용량으로 인해 저장할 수 있는 과거 학습 데이터의 양이 제한된다는 점, 그리고 (2) 온디바이스 시스템의 계산 자원이 서버 또는 클라우드 인프라에 비해 현저히 낮다는 점이다. 따라서 과거 지식의 보존과 모델 파라미터의 신속하고 비용 효율적인 업데이트 사이의 균형을 맞추는 전략을 설계하는 것이 온디바이스 지속적 학습에서 핵심적인 고려사항이 되었다. 본 논문은 다양한 엣지 디바이스에서의 타당성을 검증하기 위한 대표적 방법으로, 리플레이 기반 희소 가중치 업데이트(replay-based sparse weight updates)를 적용한 최근접 클래스 평균 분류기(nearest class mean classifier)를 고려하여, 리플레이 기반 지속적 학습 연구에 대한 경험적(실증적) 조사(empirical survey)를 제시한다. Jetson Nano 및 Raspberry Pi와 같은 디바이스에 배포한 CIFAR-10, CIFAR-100, TinyImageNet을 포함한 표준 벤치마크에 대한 경험적 비교 결과, 제안된 대표 방법은 기존 리플레이 기반 기법들에 비해 제한된 버퍼(buffer) 크기에서도 합리적인 정확도를 달성함을 보여주었다. 또한 학습 시간과 자원 소모가 유의하게 감소하는 것이 관찰되어, 리플레이 기반 온디바이스 지속적 학습의 실용적 타당성을 뒷받침하였다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.