온디바이스 연속학습 기반 자원 제약 제스처 인식 연구

On-device continual learning for resource-constrained gesture recognition

연구 내용

최근 입력이 스트리밍되는 상황에서 온디바이스로 모델을 갱신하되 재학습 전송을 최소화하기 위해 NCM과 리플레이 기반 업데이트를 결합하는 연구

온디바이스 환경에서는 제한된 메모리와 연산 자원 때문에 서버 재학습에 의한 갱신이 지연과 에너지 비용을 유발할 수 있습니다. 본 연구는 연속학습을 통해 새로운 제스처를 추가하더라도 기존 지식을 유지하도록 하는 프레임워크를 구성합니다. Nearest Class Mean(NCM) 분류기를 중심으로 하고, 과거 데이터를 재사용하기 위한 replay 기반 업데이트 전략을 결합하여 catastrophic forgetting을 완화합니다. 또한 온디바이스에서의 버퍼 관리와 희소한 가중치 갱신 관점에서 학습 비용을 통제하여 실시간 사용자 입력 처리에 적합한 동작을 목표로 합니다. 아울러 엣지 디바이스 전반에서의 feasibility를 경험적으로 검증하고, 버퍼 크기와 자원 제약 조건에 대한 성능 민감도를 분석합니다.

관련 프로젝트

3건

연구 흐름

초기에는 연속학습이 요구되는 온디바이스 시나리오를 정리하고, 리플레이 기반 접근이 제한 구조와 안정적인 성능 유지에 유리하다는 관점에서 대표 방법을 설정하였습니다. 이후 실제 스마트폰 제스처 인식 문제에 적용하여 NCM과 리플레이 기반 업데이트를 결합한 온디바이스 학습 절차를 제안하고, 서버 없이도 새 클래스를 반영할 수 있는 동작을 확인했습니다. 최근에는 replay-based continual learning의 제약 요인과 하드웨어별 실행 가능성을 체계적으로 비교하는 실증 중심의 정리 연구를 수행하며, Jetson Nano 및 Raspberry Pi와 같은 대표 엣지 디바이스에서의 운용 적합성을 평가하는 단계로 확장하고 있습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

온디바이스 제스처 인식
스트리밍 적응형 분류 모델 운영
개인화 사용자 인터페이스
데이터 전송 최소화 헬스·스포츠 모니터링
재학습 비용 절감 학습체계
카타스트로픽 포기 완화
제한 버퍼 기반 모델 업데이트
엣지 디바이스 배치형 연속학습
다양한 하드웨어에서의 실행 가능성 검증
장기 서비스용 모델 갱신 프로세스