인체 동작·수화 인식 기반 휴먼 친화 상호작용 연구

Human-friendly interaction via human motion and sign language recognition

연구 내용

보행과 수화의 자세·관절 정보를 딥러닝으로 불변 특징화하여 비접촉 인식을 구현하고, 서비스로봇의 인간 친화 인터페이스에 적용하는 연구

본 분야는 사람의 보행 패턴과 수화 동작을 비접촉 방식으로 인식하여 서비스로봇의 Human-Machine Interaction에 활용하는 것을 목표로 합니다. Skeleton silhouette 기반 구조로 시점 변화에 강한 특징을 학습하고, 관절 좌표 이미지 패치와 Transformer를 결합한 다중 스트림 네트워크로 얼굴·손의 국소 정보를 함께 모델링합니다. 이를 통해 동작 기반 생체 인식과 커뮤니케이션 인식을 동시에 지원하는 인식 파이프라인을 구축합니다.

관련 프로젝트

2건

연구 흐름

초기에는 보행 인식에서 시점·의복 변화로 인한 성능 저하 문제를 해결하기 위해 skeleton silhouette 기반 disentangled feature extraction을 적용했습니다. 이후 수화 인식으로 연구 범위를 확장하여 관절 좌표 이미지 패치와 트랜스포머 기반 다중스트림 구조로 얼굴·손의 국소 특징을 보강하는 방향으로 발전했습니다. 동시에 비대면 피지컬 컴퓨팅 교육에서 실시간 양방향 서비스 기술을 통해 사용자 입력과 로봇/시스템 반응을 연계하는 인터랙션 설계를 수행했습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

비접촉 보행 기반 사용자 식별
수화 기반 로봇 커뮤니케이션
시점 불변 동작 인식 파이프라인
관절 좌표 기반 제스처 분류
휴먼-로봇 협업 안전 모니터링
개인 맞춤형 서비스 추천 입력
사용자 의도 추정 인터페이스
공간 내 동작 이벤트 감지
교육·훈련용 동작 피드백 시스템
다중 사용자 동작 동기화 인식