손 제스처·아이 트래킹 기반 VR 인터랙티브 미디어 콘텐츠 연구

VR Interactive Media Content with Hand Gesture and Eye Tracking

연구 내용

손 추적·아이 트래킹을 활용해 사용자 상호작용을 설계하고, AI 얼굴 생성·실시간 데이터 시각화를 결합한 몰입형 미디어 콘텐츠를 구현하는 연구

본 연구는 VR에서 사용자 입력을 정교하게 해석하여 상호작용 품질을 높이는 데 중점을 둡니다. 손 트래킹 기반 인터페이스를 설계해 HMD 착용 사용자가 콘텐츠를 직접 조작하도록 구성하며, Unity 기반 구현과 3D 모델링·텍스처링을 통해 실제 동작 흐름을 완성합니다. 또한 실시간 환경·인구 데이터 시각화에 AI 기반 얼굴 생성과 MetaHuman 캐릭터 구현을 결합해 개인화된 아바타 상호작용을 구성하는 방식의 연구를 수행합니다.

관련 프로젝트

0건

연구 흐름

초기에는 아이 트래커를 활용한 민감형 게임 인터페이스 설계로 사용자 시선을 콘텐츠 반응과 연계하는 접근을 확보했습니다. 이후 손 제스처 기반 VR 치료 게임을 개발하며 제스처 인식 입력을 콘텐츠 조작 기능으로 전환하는 제작 절차를 정립했습니다. 최근에는 실시간 공공 데이터를 시각 파라미터로 매핑하고, AI 얼굴 생성과 3D 아바타 렌더링을 통합한 인터랙티브 멀티미디어 플랫폼으로 확장하여 사용자 경험을 시스템 단위로 구현하고 있습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

손제스처 기반 VR 재활 콘텐츠
아이 트래킹 기반 몰입형 게임 UI
AI 아바타 기반 실시간 인터랙션
MetaHuman 캐릭터 자동 생성 파이프라인
실시간 공공데이터 시각화 경험
클라우드 기반 3D 에셋 관리
개인화된 미디어 경험 설계 프레임
HCI 프로토타이핑 워크플로우
치료·교육형 VR 스토리보드
멀티모달 입력 콘텐츠 제작 도구