단일 이미지로부터 360도 3D 모델을 복원하기 위한 방법
A METHOD FOR RECONSTRUCTING 360-DEGREE 3D MODEL FROM A SINGLE IMAGE
특허 요약
본 개시의 일 실시예에 따르면, 이미지로부터 3D 모델을 복원하기 위해, 적어도 하나의 프로세서에 의해, 단일 이미지를 전처리하여 제1 데이터 셋을 획득하는 동작; 상기 제1 데이터 셋을 기초로 제1 3D 모델 - 제1 위치의 가상 카메라에 의한 제1 뷰에 대응됨 - 을 생성하는 동작; 미리 정해진 카메라 스케줄을 기초로 상기 가상 카메라의 위치를 조정함으로써 시점을 변경하는 동작; 및 변경된 시점에 대응되는 아웃페인팅 마스크 획득하고, 아웃페인팅 마스크를 기반으로 아웃페인팅을 수행함으로써 3D 모델을 업데이트하는 동작;을 포함하는 이미지로부터 3D 모델을 복원하기 위한 방법이 제공될 수 있다.
청구항
번호청구항
10

제8항에 있어서, 상기 카메라 스케줄은 카메라의 이동 간격을 고려하여 최적화되는 것을 특징으로 하는 컴퓨팅 장치.

9

제8항에 있어서,상기 제1 데이터 셋을 획득하는 동작은,상기 단일 이미지를 입력으로 받아 깊이 맵 및 노멀 맵을 추출하는 동작; 및 상기 단일 이미지, 상기 깊이 맵 및 상기 노멀 맵을 기초로 상기 제1 데이터 셋을 구축하는 동작;을 포함하는 컴퓨팅 장치.

1

이미지로부터 3D 모델을 복원하기 위한 방법에 있어서, 적어도 하나의 프로세서에 의해, 단일 이미지를 전처리하여 제1 데이터 셋을 획득하는 동작;상기 제1 데이터 셋을 기초로 제1 3D 모델 - 제1 위치의 가상 카메라에 의한 제1 뷰에 대응됨 - 을 생성하는 동작;미리 정해진 카메라 스케줄을 기초로 상기 가상 카메라의 위치를 조정함으로써 시점을 변경하는 동작; 및변경된 시점에 대응되는 아웃페인팅 마스크 획득하고, 아웃페인팅 마스크를 기반으로 아웃페인팅을 수행함으로써 3D 모델을 업데이트하는 동작;을 포함하는 방법.

2

제1항에 있어서, 상기 제1 데이터 셋을 획득하는 동작은,상기 단일 이미지를 입력으로 받아 깊이 맵 및 노멀 맵을 추출하는 동작; 및 상기 단일 이미지, 상기 깊이 맵 및 상기 노멀 맵을 기초로 상기 제1 데이터 셋을 구축하는 동작;을 포함하는 방법.

3

제1항에 있어서, 상기 카메라 스케줄은 카메라의 이동 간격을 고려하여 최적화되는 것을 특징으로 하는 방법.

4

제1항에 있어서, 상기 3D 모델을 업데이트하는 동작은카메라 위치의 갱신에 따른 새로운 시점에서 Visual Hull을 추출하는 동작; 및상기 Visual Hull 마스크에서 이미 관측된 영역을 제거함으로써 아웃페인팅 마스크를 획득하는 동작;을 포함하는 방법.

5

제4항에 있어서,상기 3D 모델을 업데이트하는 동작은상기 아웃페인팅 마스크를 기반으로 Latent Diffusion Model(LDM)을 사용해 상기 새로운 시점의 이미지를 생성하는 동작; 및상기 생성된 이미지를 Pseudo-Ground-Truth 데이터셋에 추가하는 동작;을 포함하는 방법.

6

제5항에 있어서,상기 Pseudo-Ground-Truth 데이터셋에 추가하는 동작은상기 생성된 이미지를 기초로 상기 생성된 이미지에 대응되는 기하학 정보를 추출하는 동작; 및상기 생성된 이미지 및 상기 기하학 정보를 상기 Pseudo-Ground-Truth 데이터셋에 추가하는 동작을 포함하는 방법.

7

제6항에 있어서, 상기 기하학 정보는 물체의 거리 정보를 나타내는 깊이 맵(Depth map), 물체의 표면 기울기 정보를 나타내는 노멀 맵(normal map) 또는 객체 만을 분리한 전경 마스크(foreground mask) 중 적어도 하나를 포함하는 방법.

8

컴퓨팅 장치에 있어서, 메모리; 및상기 메모리에 전자적으로 연결되는 적어도 하나의 프로세서;를 포함하고, 상기 적어도 하나의 프로세서는, 단일 이미지를 전처리하여 제1 데이터 셋을 획득하는 동작;상기 제1 데이터 셋을 기초로 제1 3D 모델 - 제1 위치의 가상 카메라에 의한 제1 뷰에 대응됨 - 을 생성하는 동작;미리 정해진 카메라 스케줄을 기초로 상기 가상 카메라의 위치를 조정함으로써 시점을 변경하는 동작; 및변경된 시점에 대응되는 아웃페인팅 마스크 획득하고, 아웃페인팅 마스크를 기반으로 아웃페인팅을 수행함으로써 3D 모델을 업데이트하는 동작;을 수행하도록 설정되는 컴퓨팅 장치.

11

제8항에 있어서,상기 3D 모델을 업데이트하는 동작은카메라 위치의 갱신에 따른 새로운 시점에서 Visual Hull을 추출하는 동작; 및상기 Visual Hull 마스크에서 이미 관측된 영역을 제거함으로써 아웃페인팅 마스크를 획득하는 동작;을 포함하는 컴퓨팅 장치.

12

제11항에 있어서,상기 3D 모델을 업데이트하는 동작은상기 아웃페인팅 마스크를 기반으로 Latent Diffusion Model(LDM)을 사용해 상기 새로운 시점의 이미지를 생성하는 동작; 및상기 생성된 이미지를 Pseudo-Ground-Truth 데이터셋에 추가하는 동작;을 포함하는 컴퓨팅 장치.

13

제12항에 있어서,상기 Pseudo-Ground-Truth 데이터셋에 추가하는 동작은상기 생성된 이미지를 기초로 상기 생성된 이미지에 대응되는 기하학 정보를 추출하는 동작; 및상기 생성된 이미지 및 상기 기하학 정보를 상기 Pseudo-Ground-Truth 데이터셋에 추가하는 동작을 포함하는 컴퓨팅 장치.

14

제13항에 있어서,상기 기하학 정보는 물체의 거리 정보를 나타내는 깊이 맵(Depth map), 물체의 표면 기울기 정보를 나타내는 노멀 맵(normal map) 또는 객체 만을 분리한 전경 마스크(foreground mask) 중 적어도 하나를 포함하는 컴퓨팅 장치.