프로젝트 소개
본 연구는 근전도, leap motion, 힘 센서의 멀티모달 신호로 손가락·손목 자세를 정확히 인식해 손 재활과 정량 평가를 돕는 시스템 개발 연구임.
연구 목표는 1D time-domain 신호를 channel shuffling, multispectral image fusion 등으로 2D 변환하고 inter-user variability를 다루는 동시에 새로운 RCNN 학습과 멀티모달 딥러닝 실시간성 확보임. Ninapro database-2 50개 동작 인식률 90% 이상, 기본 12가지 동작 98% 이상을 목표로 ADL 모션 기반 VR 인터페이스 포함 재활·평가 성능을 검증함. 기대효과는 협조 재활 평가의 정밀도 향상과 멀티모달 신호 처리 원천성 확대로 다양한 생체신호·산업 응용 확장 가능성임.