조기융합 멀티모달 딥러닝 기반 EMG 제스처 분류 연구

Multimodal Early-Fusion Gesture Classification Using EMG and Finger Signals

연구 내용

EMG와 손가락 관련 신호를 조기융합 구조로 결합하여 손동작을 분류하는 멀티모달 딥러닝 전략을 제안하는 연구

제스처 분류는 단일 신호만으로는 동작 변별력이 제한될 수 있어, 복수 입력의 결합 설계가 중요합니다. 이연정 연구실은 표면 근전도(EMG)와 손가락 관련 신호를 입력으로 사용하고, 조기융합(Early Fusion) 방식의 멀티모달 딥러닝 구조를 통해 특징을 통합합니다. 또한 이미지 분류에서 검증된 ResNet152·DenseNet201·EfficientNetB0 계열 네트워크의 구조를 활용하여 학습 효율을 확보합니다. 이러한 설계는 신호 간 보완적 정보를 결합하면서 동작 클래스 분류 성능을 높이는 데 초점을 둡니다.

관련 프로젝트

0건

연구 흐름

2021년 연구에서는 EMG 기반 단일 입력의 한계를 줄이기 위해 멀티모달 학습 구성을 도입합니다. 이후 조기융합(Early Fusion) 관점에서 EMG와 손가락 관련 신호를 동일 모델 입력 흐름에 통합하고, ResNet152·DenseNet201·EfficientNetB0 계열 네트워크 구조를 기반으로 학습 파이프라인을 구성합니다. 전이학습을 활용하는 접근과 함께 융합 지점을 조기 단계로 고정하여 특징 결합의 일관성을 유지하는 방향으로 최적화합니다. 결과적으로 다중 제스처 분류에 적용 가능한 통합 학습 체계를 확립합니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

멀티모달 손동작 분류
동작 인식 기반 로봇 그립 제어
수어·수화 인식 보조
운동학습 피드백 시스템
손가락 보조 웨어러블 인터페이스
상황인식형 제어 입력
다중 클래스 제스처 인식
정밀 동작 제어 모듈
융합 구조 기반 모델 재사용
개인별 입력 변동 대응