프로젝트 소개
본 과제는 마이크로소프트 홀로렌즈 플랫폼을 활용하여 인기 애니메이션 '마법천자문'의 이야기를 바탕으로 실내에서 즐길 수 있는 혼합현실(Mixed Reality) 어드벤처 기술 및 콘텐츠를 개발하는 연구임. 이는 현실 공간에 가상 이미지를 겹쳐 보여주는 기술을 통해 사용자가 직접 참여하고 체험하는 놀이시설 서비스를 만드는 것을 목표로 함.
연구 목표는 홀로렌즈 HMD의 Depth 카메라를 이용한 3D 조형물 인식 및 애니메이션 실행 기술과, 공간상에 한자를 손가락으로 따라 써서 인식하는 기술 구현에 있음. 또한, 사용자 인터랙션을 실시간으로 수집하여 게임 스코어링 및 성취도를 측정하는 백엔드 분석 시스템 및 API 개발, 그리고 마법천자문 시즌1 스토리 기반의 30개 한자 마법 및 에피소드 구현을 위한 3D 모델링, 애니메이션, 음성 콘텐츠 개발을 포함함.
핵심 연구 내용은 3D 조형물 인식 라이브러리 구성 및 인식 특성 조사, 홀로렌즈 앱에서의 인식 및 애니메이션 호출/실행 구조 개발임. 이와 함께 공간상 한자쓰기 가상 마커 포지셔닝 객체 개발, 사용자 손가락 트래킹 기능 구현 및 한자 획순 분해 인식 테스트, 획순 트래킹 속도 및 정확도 구현을 진행함. 또한, 원작 애니메이션 기반의 혼합현실 콘텐츠 적합 씬 기획, 홀로그래픽 스토리보드 개발, 캐릭터 및 배경 3D 모델링, 애니메이션 프로그래밍, 성우 녹음 및 효과음 개발, 씬 프로그래밍 및 공간/마커 매핑을 수행함. 이벤트 수집/분석 API 개발 및 백엔드 데이터베이스 구축도 핵심 연구 내용에 포함됨.
기대 효과는 '마법천자문' 스토리와 세계관을 혼합현실 기술로 구현하여 에듀테인먼트 분야 킬러 콘텐츠로 확산시키기 위한 기반을 마련하는 것임. 다중 접객 시설 공간에서 혼합현실 기술을 활용한 킬러 콘텐츠를 창조하고, 3D 조형물 연동 홀로그램 구동 및 한자쓰기 마법 등 진보된 사용자 경험을 구현하며, 혼합현실 기술을 통한 원작 스토리 구현의 모범 사례가 될 것으로 전망됨. 나아가, 개발된 기술을 다른 캐릭터/애니메이션 분야의 킬러 콘텐츠 구현에 활용하기 위한 기반 확보가 기대됨.