뇌성마비(Cerebral palsy, CP)는 일상생활에서의 신체 움직임을 심각하게 제한하는 신경학적 질환이다. CP를 가진 개인에게는 신체 능력을 향상시키기 위해 정밀한 움직임 양상이 필수적이다. 그러나 소요되는 시간과 비용 때문에 자격을 갖춘 재활 전문가로부터 피드백을 얻는 것이 어려울 수 있다. 이러한 문제를 해결하기 위해, 본 연구는 CP를 가진 개인의 상지 운동을 대상으로 골격의 시계열 데이터와 각도 데이터를 통합하는 다중모달 인간 행위 인식(HAR) 프레임워크를 제안한다. 선행 연구에서는 일반적으로 골격 데이터를 HAR의 입력으로 사용하였다. 하지만 반복적인 동작 시퀀스에서는 각도 또한 중요한 요소이다. 본 연구에서는 상지 운동의 비디오 데이터를 생성하고, 이를 바탕으로 인간 자세 추정(HPE) 알고리즘인 BlazePose를 이용해 골격을 추정한 뒤, 추정된 골격으로부터 핵심 각도를 계산한다. 제안하는 프레임워크는 골격에 대해서는 그래프 기반 모델을, 각도에 대해서는 주의(attention) 메커니즘을 갖춘 순환 기반 모델을 포함하여 중요한 시간적 정보를 식별할 수 있도록 한다. 그 결과, 본 프레임워크는 단일모달 HAR 모델보다 더 우수한 성능을 보이는 것으로 나타났다. 운동 피드백과 관련된 비용을 낮춤으로써, 궁극적으로 CP를 가진 개인의 신체 건강을 개선할 수 있을 것으로 기대한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.