본 연구과제는 멀티미디어 영상 콘텐츠로부터 메타버스 3차원 콘텐츠를 생성하는 인공지능 개발과 영상 정합과 암시적 모델을 이용하여 특징점 정합을 이용한 3차원 모델을 정교화하는 알고리즘 개발로 요약됨. 먼저, 3차원 콘텐츠 생성 인공지능 개발을 위해선 영상 및 3차원 객체의 데이터베이스를 구축해야 함. 이는 영상과 3차원 객체가 쌍으로 존재하는 거대 데이터베이스로, 동영상 내의 특정 캐릭터의 단일 시점 이미지를 바탕으로 한 다시점 이미지 생성 알고리즘 개발을 위한 학습용 2차원 & 3차원 모델 데이터세트를 포함함. 데이터베이스 구축과 더불어, 3차원 콘텐츠 생성 인공지능 개발은 영상 정합기술 및 잠재적 공간 생성을 활용한 3차원 콘텐츠 창작 인공지능 개발로 구체화할 수 있음. 동영상 속 움직이는 목표 객체와 주변 객체/배경들과의 기하학/의미적 관계성을 활용하여 목표 객체의 3차원 기하학 정보를 유추하는 딥러닝 모델 개발이 그 내용임. 다음으로, 2차원 동영상 내의 다중 영상 정합을 이용한 2차원 캐릭터 간 기하학적 관계 예측 고도화는 2차원 동영상 내에서 동일 캐릭터 정보를 포함하는 멀티 프레임을 활용하여 캐릭터 간 기하학적 관계를 예측하는 기술을 개발하는 것으로 이루어질 수 있음. 앞서 언급한 특징점 정합을 3차원 모델 정교화는 암시적 모델개발과 영상정합을 통해 달성할 수 있음. 암시적 모델개발은 OpenAI에서 개발된 이미지-텍스트 공간을 확장하여 3차원 모델 및 텍스트 정보를 공유하는 매니폴드 공간을 구축하는 방향으로 수행될 예정임. 영상정합을 활용한 3차원 모델 정교화 인공지능은 다른 캐릭터가 영상 정합을 위하여 영상에서 키포인트를 예측하는 기술과 이에 기반한 Cost Aggregation 기술과 정합점 예측 기술을 설계하고 이 일련의 과정을 종단 간으로 학습하고 예측하는 기술을 개발하는 것으로 실현할 수 있음. 마지막으로 2차원 동영상에서 3차원 정보 예측은 2차원 동영상 내에서 시간에 따라 불변하는 공통의 3차원 내적 함수를 정의하고 각각의 프레임마다 변화하는 3차원 내적 함수를 정의하여 학습 및 최적화하는 것으로 고도화할 수 있을 것으로 예상됨.