인간 활동 인식은 의료와 스마트 차량과 같은 인간 중심 지능형 시스템을 위한 필수 과제로, 웨어러블 기기에 장착된 센서에서 수집한 시계열 신호를 분석함으로써 수행될 수 있다. 이러한 응용에서 고령자의 낙상이나 졸음운전과 같은 긴급 사건에 대해 신속한 조치가 필요하므로 실시간 응답은 매우 중요하다. 순환신경망은 시간적 모델링 능력 때문에 널리 사용되어 왔으나, 최근 연구들은 더 낮은 계산 비용을 수반하여 실시간 응답에 적합한 합성곱신경망(CNN)에 주목하고 있다. 다만 수동 설계로 구성된 CNN은 응용이나 장치에 따라 달라지는 계산 예산으로 인해 최적의 정확도를 달성하지 못할 수 있다. 본 논문에서는 특정 계산 예산에 적합한 CNN 아키텍처를 도출하기 위해 수학적 접근을 사용하는 새로운 설계 프레임워크를 제안한다. 그 결과, 이론적 계산 비용을 미리 정의함으로써 네트워크 아키텍처를 유연하게 수정할 수 있는 그룹드 시간적 시프트 네트워크(GTSNet)를 도입한다. 제한된 계산 예산 하에서 잘 알려진 공개 벤치마크 데이터셋들에 대해 실험을 통해 본 프레임워크의 유효성을 입증하였으며, 최상의 성능을 달성하였다. GTSNet의 소스 코드는 https://github.com/jgpark92/GTSNet 에서 공개되어 있다.

인간 활동 인식은 의료와 스마트 차량과 같은 인간 중심 지능형 시스템을 위한 필수 과제로, 웨어러블 기기에 장착된 센서에서 수집한 시계열 신호를 분석함으로써 수행될 수 있다. 이러한 응용에서 고령자의 낙상이나 졸음운전과 같은 긴급 사건에 대해 신속한 조치가 필요하므로 실시간 응답은 매우 중요하다. 순환신경망은 시간적 모델링 능력 때문에 널리 사용되어 왔으나, 최근 연구들은 더 낮은 계산 비용을 수반하여 실시간 응답에 적합한 합성곱신경망(CNN)에 주목하고 있다. 다만 수동 설계로 구성된 CNN은 응용이나 장치에 따라 달라지는 계산 예산으로 인해 최적의 정확도를 달성하지 못할 수 있다. 본 논문에서는 특정 계산 예산에 적합한 CNN 아키텍처를 도출하기 위해 수학적 접근을 사용하는 새로운 설계 프레임워크를 제안한다. 그 결과, 이론적 계산 비용을 미리 정의함으로써 네트워크 아키텍처를 유연하게 수정할 수 있는 그룹드 시간적 시프트 네트워크(GTSNet)를 도입한다. 제한된 계산 예산 하에서 잘 알려진 공개 벤치마크 데이터셋들에 대해 실험을 통해 본 프레임워크의 유효성을 입증하였으며, 최상의 성능을 달성하였다. GTSNet의 소스 코드는 https://github.com/jgpark92/GTSNet 에서 공개되어 있다.

온디바이스 지속적 학습(on-device continual learning)의 목표는, 제한된 계산 자원과 메모리 제약 하에서도 이전에 획득한 지식을 망각하지 않으면서 스트리밍 데이터에 적응할 수 있도록 모델을 가능하게 하는 것이다. 최근 연구는 가중치 정규화 기반 방법이 간접적인 지식 보존의 한계와 민감한 하이퍼파라미터 설정에 의해 제약된다는 점을 보여주었으며, 동적 아키텍처(dynamic architecture) 방법은 구조가 확장됨에 따라 자원 소모가 증가하여 온디바이스 환경에 적합하지 않다는 것이 입증되었다. 이러한 한계를 보완하기 위해, 압축된 구조와 안정적인 성능을 유지하는 리플레이(replay) 기반 지속적 학습이 주목받고 있다. 리플레이 기반 지속적 학습의 한계는 (1) 제한된 메모리 용량으로 인해 저장할 수 있는 과거 학습 데이터의 양이 제한된다는 점, 그리고 (2) 온디바이스 시스템의 계산 자원이 서버 또는 클라우드 인프라에 비해 현저히 낮다는 점이다. 따라서 과거 지식의 보존과 모델 파라미터의 신속하고 비용 효율적인 업데이트 사이의 균형을 맞추는 전략을 설계하는 것이 온디바이스 지속적 학습에서 핵심적인 고려사항이 되었다. 본 논문은 다양한 엣지 디바이스에서의 타당성을 검증하기 위한 대표적 방법으로, 리플레이 기반 희소 가중치 업데이트(replay-based sparse weight updates)를 적용한 최근접 클래스 평균 분류기(nearest class mean classifier)를 고려하여, 리플레이 기반 지속적 학습 연구에 대한 경험적(실증적) 조사(empirical survey)를 제시한다. Jetson Nano 및 Raspberry Pi와 같은 디바이스에 배포한 CIFAR-10, CIFAR-100, TinyImageNet을 포함한 표준 벤치마크에 대한 경험적 비교 결과, 제안된 대표 방법은 기존 리플레이 기반 기법들에 비해 제한된 버퍼(buffer) 크기에서도 합리적인 정확도를 달성함을 보여주었다. 또한 학습 시간과 자원 소모가 유의하게 감소하는 것이 관찰되어, 리플레이 기반 온디바이스 지속적 학습의 실용적 타당성을 뒷받침하였다.

모바일 기기에서의 센서 기반 제스처 인식은 인간-컴퓨터 상호작용에서 핵심적이며, 다양한 응용에 대해 직관적인 사용자 입력을 가능하게 한다. 그러나 현재의 접근 방식은 새로운 제스처가 도입될 때마다 서버 기반 재학습에 의존하는 경우가 많아, 잦은 데이터 전송으로 인해 상당한 에너지 소비와 지연이 발생한다. 이러한 한계를 해결하기 위해, 우리는 제스처 인식을 위한 최초의 온디바이스(기기 내) 연속 학습 프레임워크를 제시한다. 최근접 클래스 평균(Nearest Class Mean, NCM) 분류기와 리플레이(replay) 기반 업데이트 전략을 결합함으로써, 본 방법은 제한된 계산 및 메모리 자원 하에서 새로운 제스처에 연속적으로 적응할 수 있게 한다. 리플레이 버퍼 관리(replay buffer management)를 활용하여 이전에 학습된 인스턴스를 효율적으로 저장하고 다시 참조함으로써, 치명적 망각(catastrophic forgetting)을 완화하고 새로운 제스처가 추가되는 상황에서도 안정적인 성능을 보장한다. Samsung Galaxy S10 디바이스에서의 실험 결과, 본 방법은 완전히 온디바이스로 동작하면서도 99% 이상의 정확도를 달성함을 보여주며, 계산 효율성과 견고한 연속 학습, 높은 인식 정확도 사이의 설득력 있는 시너지를 제공한다. 본 연구는 NCM 분류기와 리플레이 기반 기법을 통합한 온디바이스 연속 학습 프레임워크의 가능성을 보여주며, 자원 제약 환경에서의 적응형 제스처 인식 분야를 진전시키는 데 기여한다.

퍼지 c-평균 알고리즘으로부터 얻어진 퍼지 군집에 대해 새로운 군집 타당성 지수가 제안된다. 제안된 타당성 지수는 퍼지 군집들 간의 근접성(인접성)을 활용한다. 군집 간 근접성은 군집 간의 중첩 정도를 측정하는 데 사용된다. 근접성 값이 낮을수록 잘 분할된 군집을 의미한다. 최적의 퍼지 c-분할은 c에 대하여 군집 간 근접성을 최소화함으로써 얻어진다. 제안된 지수의 유효성과 신뢰성을 보이기 위해 잘 알려진 데이터 집합들을 대상으로 시험한다.