프로젝트 소개
본 과제는 움직이거나 모양이 변하는 물체가 포함된 동영상에서 3D 장면을 빠르고 정확하게 복원하기 위한 deformable NeRF 기술을 개발하는 연구임. 기존 Neural Radiance Field의 높은 계산량과 정지된 장면 가정의 한계 극복을 지향함.
연구 목표는 변형의 궤적을 grid로 표현해 학습 속도와 복원 성능을 향상하고, 다양한 변형 상황에 적용 가능한 prior를 설계하는 것임. 핵심 연구 내용은 레퍼런스 매핑 기반 방식과 세계 좌표 기반 방식의 Trajectory grid 개발, 좌표계에 적합한 신경망 기반 popularity prior 설계, 반사 특성과 역학적 특성을 반영한 모델 고도화임. 기대 효과는 markerless 모션 캡쳐, 고해상도 3D 복원, VR/AR 및 메타버스 실감형 콘텐츠 제작에의 활용임. 또한 영상 미디어 플랫폼의 입체 영상 도입과 3D 콘텐츠 대중화, 관련 산업 및 신규 미디어 시장 발전에 대한 기여 가능성임.