최근 웨어러블 기기와 사물인터넷(Internet of Things, IoT)의 발전으로, 인간 활동 인식(Human Activity Recognition, HAR)은 웨어러블 기술 시장에서 점차 더 큰 관심을 받고 있다. 그러나 센서 기반 HAR의 경우, 딥 신경망 학습을 위한 충분한 라벨 데이터 수집이 어렵다. 이는 전문가가 시계열 데이터에서 시각적으로 인식 가능한 패턴을 찾아야 하기 때문이다. 또한 개인정보 문제로 인해 데이터 수집이 어렵다. 이러한 한계를 극복하기 위해 최근에는 자기지도학습(Self-Supervised Learning, SSL) 기반 HAR 방법이 제안되었으며, 이는 라벨 데이터 없이도 표현(representation)을 학습할 수 있다. 하지만 이러한 방법은 센서 데이터만을 활용하며, 센서 착용자의 생체 정보는 포함하지 않는다. 생체 정보를 제외하는 학습 방법은 전형적인 움직임 패턴은 식별할 수 있으나, 맞춤형 움직임 패턴을 효과적으로 학습할 수는 없다. 따라서 본 논문에서는 학습 과정에서 센서 착용자의 생체 정보를 고려하는 Temporal Fusion Contrastive Learning(TFCL) 방법을 제안하였다. 실험 결과에 따르면, 생체 정보를 사용하여 미세조정(fine-tuning)할 때 제안된 TFCL 방법은 DLR 및 MobiAct 데이터셋에서 각각 0.9791, 0.7433의 최고 F1 점수를 얻었다. 또한 제안된 TFCL 방법으로 표현을 학습한 뒤 이를 다운스트림 과제에 적용했을 때의 결과는, 처음부터 지도학습을 수행하여 얻은 결과와 유사하거나 더 나은 것으로 나타났다. 이러한 결과는 TFCL을 통해 표현을 효과적으로 학습할 수 있음을 시사한다. 실험 코드는 https://github.com/IKKIM00/temporal-fusion-contrastive-learning 에서 확인할 수 있다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.