프로젝트 소개
본 과제는 초대형 LED 스크린에 고품질 그래픽을 실시간으로 보여주면서 실제 연기자를 동시에 촬영, 합성하는 기술에, 연기자와 메타버스 공간에 참여하는 관객의 아바타를 실시간으로 만드는 뉴럴 휴먼 모델링 기술을 결합하여, 사용자가 직접 참여할 수 있는 메타버스 공연 솔루션과 서비스를 개발하는 연구임.
연구 목표는 실시간 공연솔루션에 연기자와 메타버스 공간에 참여한 관객 아바타를 실시간에 생성하는 뉴럴 휴먼 모델링 기술을 통합한 사용자 참여형 메타버스 공연솔루션과 서비스를 개발하는 데 있음. 핵심 연구 내용은 디지털 연기자 복원을 위한 다중 시점 카메라 기반 뉴럴 휴먼 모델링 기술과 디지털 관객 복원을 위한 단안 카메라 기반 경량 뉴럴 휴먼 모델링 기술 개발임. 또한, 뉴럴 렌더링 기반 디지털 어셋 및 3차원 복원된 전경 인물 합성 기술과 게임엔진 기반 메타버스 공연솔루션 구축 및 운영, 미들웨어 기술 개발을 포함한 메타버스 공연 통합 서비스 기술 개발을 수행함. 기대 효과는 딥 러닝 기반 뉴럴 휴먼 모델링/렌더링 기술 선점을 통해 미래 비대면 산업에서 기술 주도권을 확보하는 것임. MestaStage 통합 운영에 필요한 CG/VFX 및 메타버스 플랫폼 인터렉션 기술을 개발하여 메타버스 공연 콘텐츠 및 서비스 제작에 활용, 경쟁력 있는 가격과 품질로 공급이 가능함. 더불어 영상 기반 휴먼 복원 기술을 교육, 의료, 국방, 게임 등 다양한 산업에 활용하여 높은 부가가치를 창출하고, 국내 K-콘텐츠 산업의 국제 경쟁력 강화 및 일자리 창출에 기여할 것으로 전망됨.