○ 정신건강 모니터링 및 관리를 위한 디지털 표현형 개발 및 표준화- ICT 기술을 활용하여 스마트 웨어러블 기기에서 디지털 표현형을 수집- 정신건강과 상관관계가 있다고 알려진 생체지표 및 여러 디지털 표현형을 수집 및 분석, 표준화- 개발된 디지털 표현형을 정신건강 관리 모델로 연계○ 정신건강 증진을 위한 질병 관리 모델 개발- 표준화된 디지털 표현형을 ...

본 과제는 웨어러블 기기의 가속도, 자이로, 지자개 센서를 활용해 양치 과정을 비대면으로 분석하고, 사용자가 올바른 양치 습관을 만들도록 돕는 스마트 모니터링 기술 개발임. 연구 목표는 신호 획득-노이즈 필터링·특징 추출-모바일 전송-딥러닝 기반 양치 패턴 인식(CNN, LSTM, DNN)까지 구현하여 우측 상학, 좌측 상학, 우측하학, 좌측 하학별 양치 시간·속도·강도·범위 등을 3차원 양치 맵으로 실시간 가시화하는 데 있음. 기대 효과는 양치 효율을 점수화하고 피드백을 제공하며 장기간 데이터로 치아 건강 상태 예측을 지원해 기업 경쟁력 강화로 이어짐.

(1차년도) - 영상 신호와 가속도, 자이로 신호를 통합하는 멀티 모달 신호 기반 행동 패턴을 인식할 수 있는 딥러닝 모델을 구축하고자 함. - 가속도 및 자이로 신호의 경우에는 발차기나 뛰어넘기 등 반복적으로 패턴이 발생하는 신호의 경우에는 구분이 어려운 문제점이 있음. 또한 영상에서는 포즈를 찾아 행동 패턴을 인식하는 경우에는 누워있거나 서있는 신호가 구분이 어려운 경우가 있음. 따라서 신호만으로 구분이 어려운 경우 영상정보를 보조적으로 활용하여 인식하거나 반대로 영상을 통해 인식한 결과의 신뢰도가 낮은 경우 센싱 된 신호를 통해 분석하기 위해 contrastive learning 기반의 모델을 통해 이를 해결하고자 함. (2차년도) - 기존의 행동 패턴 인식 연구는 서있기, 앉기, 뛰기 등 간단한 형태의 행동 인식이 주를 이뤘음. 본 연구에서는 물건을 옮긴다, 커피를 마신다 등과 같이 맥락을 파악하여 이를 인식할 수 있는 knowledge graph를 통해 이를 추론하고자 함. - 지식 그래프는 주체(subject)와 대상(object) 그리고 이 둘의 관계(relation)가 <주체, 관계, 대상, 행동>의 형태로 표현되어 있는 지식 베이스임. 주체와 대상은 노드(node)로 표현되며, 노드들 간의 관계는 간선(edge)으로 표현됨. 본 연구에서는 기존의 지식그래프에서 특성을 나타내는 attribute를 포함하는 지식 그래프를 구축하고자 함. - Graph neural network를 이용하여 missing entity나 relation을 예측하는 방법론과 지식 그래프들 간에 같은 개념을 표현한 노드들을 통합(merge)하기 위한 방법으로 그래프 구조의 노드 임베딩과 노드 매칭(Node Matching) 알고리즘을 기반으로 연구 수행하고자 함. (3차년도) - 다중 사용자간 상호작용 인식을 위해서는 상호작용을 설명할 수 있는 spatio-temporal 특징 정보가 정의되어야 함. subject ID와 관절 정보를 mapping 하고, 이를 통해 관절의 inter와 intra를 구분함. 이후 영상으로부터 각 관절 쌍의 spatial 특징 정보 (거리 및 동작)를 추출하고, 가속도 및 자이로 센서 정보를 moving window를 통해 세그먼트하여 temporal 특징으로 활용하고자 함. - 각 소스로부터 획득한 특징 정보는 Knowledge 가 embedded 된 graph neural network을 통해 학습을 함. Knowledge를 구성하기 위해 노드간의 관계를 정의하고 일정 시간 이상 가까운 거리가 유지가 되면 상호작용을 위한 입력으로 활용함. 두 사람의 행동을 분석하고 분석한 행동 간의 similarity를 측정하여 상호작용을 인식하고자 함.

1차년도 (2021년) 영상 신호 및 가속도, 자이로 센서 신호 기반 멀티모달 행동 인식 ▸ 영상 기반 관절 데이터 추출 및 자세 정보 인코딩 ▸ 웨어러블 센서 기반 가속도, 자이로스코프 등 센서 신호 처리 인코딩 ▸ 멀티모달정보 fusion 및 contrastive learning 기반 행동 패턴 인식 2차년도(2022년) Knowledge graph 기반 사용자 행동 관련 컨텍스트 추론 ▸주체, 관계, 대상, 행동 정보를 기반으로 관계 그래프 구축 ▸행동 정보를 입력으로 하여 graph neural network 모델링 3차년도(2023년) Spatio-temporal 특징 기반 사용자 상호작용 인식 ▸관절 데이터간의 거리, 모션 기반으로 spatial 특징 추출 ▸가속도, 자이로 등 시계열 데이터 기반으로 temporal 특징 추출 ▸Knowledge embedded graph neural network 모델링