플립 관측의 생성 및 최적화를 기반으로 NeRF 미관측 뷰를 커버하는 장치에 있어서,명령어들을 저장하도록 구성되는 메모리; 및상기 명령어들을 실행함으로써: 카메라 이동 궤적에서 관측되는 SLAM 오브젝트에 대한 복수의 실관측 이미지들을 획득하고, 상기 SLAM 오브젝트의 기하학적 특성을 대칭으로 가정하여 상기 복수의 실관측 이미지들에 대응하는 복수의 미관측 플립 이미지들을 생성하고, 번들 조정을 통해 상기 복수의 미관측 플립 이미지들의 초기 카메라 포즈들을 정제함으로써 복수의 미관측 정제 이미지들을 생성하고, 상기 복수의 미관측 정제 이미지들이 상기 SLAM 오브젝트의 상기 기하학적 특성에 대해 갖는 불확정성을 고려하는 통계적 접근법을 적용하여 NeRF 모델을 생성하고, 상기 NeRF 모델을 이용하여 상기 SLAM 오브젝트의 미관측 뷰를 예측하도록 구성되는 프로세서; 를 포함하고,상기 프로세서는, 상기 복수의 실관측 이미지들에 대해 상기 번들 조정을 적용하지 않으면서, 상기 복수의 실관측 이미지들을 이용하여 추정된 복수의 정제 미관측 플립 카메라 포즈들에 대해서만 상기 번들 조정을 적용하여 3D 공간 학습 및 카메라 포즈 최적화를 동시에 수행하는, 플립 관측의 생성 및 최적화를 기반으로 NeRF 미관측 뷰를 커버하는 장치.

제1항에 있어서,상기 프로세서는, 최소 제곱 접근에 기초하여 상기 복수의 실관측 이미지들의 복수의 실관측 카메라 포즈들을 지나는 최적 구체를 추정하고,상기 최적 구체에 기초하여 상기 초기 카메라 포즈들을 추정하도록 구성되는, 플립 관측의 생성 및 최적화를 기반으로 NeRF 미관측 뷰를 커버하는 장치.

제2항에 있어서,상기 프로세서는, 상기 최적 구체의 중심을 교차하는 평면에 기초하여 상기 복수의 실관측 카메라 포즈들에 대한 대칭 변환을 수행하고,상기 대칭 변환에 의해 변환된 카메라 포즈들 및 상기 최적 구체의 중심에 기초하는 회전 변환을 수행하여 6-자유도를 갖는 복수의 정제 미관측 플립 카메라 포즈들을 추정하도록 구성되는, 플립 관측의 생성 및 최적화를 기반으로 NeRF 미관측 뷰를 커버하는 장치.

삭제

제1항에 있어서,상기 프로세서는, 상기 불확정성을 고려하는 통계적 접근법에 기초하여 상기 복수의 미관측 정제 이미지들(I')의 카메라 레이(r')가 가우시안 분포를 따르게 함으로써 상기 NeRF 모델을 생성하도록 구성되는, 플립 관측의 생성 및 최적화를 기반으로 NeRF 미관측 뷰를 커버하는 장치.

제5항에 있어서,상기 프로세서는, 가우시안 분포를 따르는 렌더링 컬러 값((r')) 및 분산(2)에 기초하여 상기 카메라 레이(r')에 대한 손실 함수(L(r'))를 규정하고,상기 손실 함수(L(r'))에 기초하여 모델 트레이닝을 수행함으로써 상기 NeRF 모델을 생성하도록 구성되는, 플립 관측의 생성 및 최적화를 기반으로 NeRF 미관측 뷰를 커버하는 장치.

메모리에 저장되는 명령어들을 실행하는 프로세서에 의해 수행되는, 플립 관측의 생성 및 최적화를 기반으로 NeRF 미관측 뷰를 커버하는 방법에 있어서,카메라 이동 궤적에서 관측되는 SLAM 오브젝트에 대한 복수의 실관측 이미지들을 획득하는 단계;상기 SLAM 오브젝트의 기하학적 특성을 대칭으로 가정하여 상기 복수의 실관측 이미지들에 대응하는 복수의 미관측 플립 이미지들을 생성하는 단계;번들 조정을 통해 상기 복수의 미관측 플립 이미지들의 초기 카메라 포즈들을 정제함으로써 복수의 미관측 정제 이미지들을 생성하는 단계;상기 복수의 미관측 정제 이미지들이 상기 SLAM 오브젝트의 상기 기하학적 특성에 대해 갖는 불확정성을 고려하는 통계적 접근법을 적용하여 NeRF 모델을 생성하는 단계; 및상기 NeRF 모델을 이용하여 상기 SLAM 오브젝트의 미관측 뷰를 예측하는 단계; 를 포함하고, 상기 번들 조정은, 상기 복수의 실관측 이미지들에 대해 적용되지 않으면서, 상기 복수의 실관측 이미지들을 이용하여 추정된 복수의 정제 미관측 플립 카메라 포즈들에 대해서만 적용되는 것인, 플립 관측의 생성 및 최적화를 기반으로 NeRF 미관측 뷰를 커버하는 방법.

제7항에 있어서,상기 복수의 미관측 정제 이미지들을 생성하는 단계는,최소 제곱 접근에 기초하여 상기 복수의 실관측 이미지들의 복수의 실관측 카메라 포즈들을 지나는 최적 구체를 추정하는 단계; 및상기 최적 구체에 기초하여 상기 초기 카메라 포즈들을 추정하는 단계를 포함하는, 플립 관측의 생성 및 최적화를 기반으로 NeRF 미관측 뷰를 커버하는 방법.

제8항에 있어서,상기 복수의 미관측 정제 이미지들을 생성하는 단계는,상기 최적 구체의 중심을 교차하는 평면에 기초하여 상기 복수의 실관측 카메라 포즈들에 대한 대칭 변환을 수행하는 단계; 및상기 대칭 변환에 의해 변환된 카메라 포즈들 및 상기 최적 구체의 중심에 기초하는 회전 변환을 수행하여 6-자유도를 갖는 복수의 정제 미관측 플립 카메라 포즈들을 추정하는 단계를 포함하는, 플립 관측의 생성 및 최적화를 기반으로 NeRF 미관측 뷰를 커버하는 방법.

삭제

제7항에 있어서,상기 NeRF 모델을 생성하는 단계는,상기 불확정성을 고려하는 통계적 접근법에 기초하여 상기 복수의 미관측 정제 이미지들(I')의 카메라 레이(r')가 가우시안 분포를 따르게 함으로써 상기 NeRF 모델을 생성하는 단계를 포함하는, 플립 관측의 생성 및 최적화를 기반으로 NeRF 미관측 뷰를 커버하는 방법.

제11항에 있어서,상기 NeRF 모델을 생성하는 단계는,가우시안 분포를 따르는 렌더링 컬러 값((r')) 및 분산(2)에 기초하여 상기 카메라 레이(r')에 대한 손실 함수(L(r'))를 규정하는 단계; 및상기 손실 함수(L(r'))에 기초하여 모델 트레이닝을 수행함으로써 상기 NeRF 모델을 생성하는 단계를 포함하는, 플립 관측의 생성 및 최적화를 기반으로 NeRF 미관측 뷰를 커버하는 방법.

비일시적 컴퓨터 판독 가능한 기록 매체에 저장되는 컴퓨터 프로그램에 있어서,상기 컴퓨터 프로그램의 명령어들은, 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서가:카메라 이동 궤적에서 관측되는 SLAM 오브젝트에 대한 복수의 실관측 이미지들을 획득하는 동작;상기 SLAM 오브젝트의 기하학적 특성을 대칭으로 가정하여 상기 복수의 실관측 이미지들에 대응하는 복수의 미관측 플립 이미지들을 생성하는 동작;번들 조정 - 상기 번들 조정은, 상기 복수의 실관측 이미지들에 대해 적용되지 않으면서, 상기 복수의 실관측 이미지들을 이용하여 추정된 복수의 정제 미관측 플립 카메라 포즈들에 대해서만 적용됨 - 을 통해 상기 복수의 미관측 플립 이미지들의 초기 카메라 포즈들을 정제함으로써 복수의 미관측 정제 이미지들을 생성하는 동작;상기 복수의 미관측 정제 이미지들이 상기 SLAM 오브젝트의 상기 기하학적 특성에 대해 갖는 불확정성을 고려하는 통계적 접근법을 적용하여 NeRF 모델을 생성하는 동작; 및상기 NeRF 모델을 이용하여 상기 SLAM 오브젝트의 미관측 뷰를 예측하는 동작; 을 수행하게 하는, 비일시적 컴퓨터 판독 가능한 기록 매체에 저장되는 컴퓨터 프로그램.

제13항에 있어서,상기 복수의 미관측 정제 이미지들을 생성하는 동작은,최소 제곱 접근에 기초하여 상기 복수의 실관측 이미지들의 복수의 실관측 카메라 포즈들을 지나는 최적 구체를 추정하는 동작; 및상기 최적 구체에 기초하여 상기 초기 카메라 포즈들을 추정하는 동작을 포함하는, 비일시적 컴퓨터 판독 가능한 기록 매체에 저장되는 컴퓨터 프로그램.

제14항에 있어서,상기 복수의 미관측 정제 이미지들을 생성하는 동작은,상기 최적 구체의 중심을 교차하는 평면에 기초하여 상기 복수의 실관측 카메라 포즈들에 대한 대칭 변환을 수행하는 동작; 및상기 대칭 변환에 의해 변환된 카메라 포즈들 및 상기 최적 구체의 중심에 기초하는 회전 변환을 수행하여 6-자유도를 갖는 복수의 정제 미관측 플립 카메라 포즈들을 추정하는 동작을 포함하는, 비일시적 컴퓨터 판독 가능한 기록 매체에 저장되는 컴퓨터 프로그램.