(주)이노와이어리스
동적 씬의 3차원 모델 재구성 방법
method for reconstructing three dimension model of dynamic scene
특허 요약
본 발명은 주된 목적은 HumanNeRF에 기반하여 움직임이 있는 동적 씬의 3차원 모델을 더욱 정밀하게 재구성하는 방법에 관한 것이다. 본 발명의 동적 씬의 3차원 모델 재구성 방법은, HumanNeRF를 기반으로 수행되고, 복수의 단안 카메라를 통해 촬영한 캐주얼 비디오를 정해진 프레임 수로 나누어 이미지를 추출하는 (a) 단계; (a) 단계에서 추출된 이미지에 대해 전처리를 수행하여 대상 객체의 포즈를 예측하고, 그래픽 연산 및 모델 입력에 필요한 메타 데이터를 확보하는 (b) 단계; 상기 메타 데이터에 의해 입력 이미지의 왜곡을 보정하고 2D 이미지의 좌표계를 3D 공간으로의 좌표계로 변환하는 (c) 단계; 상기 예측된 포즈에 대한 관절 포인트의 회전 위치 보정값(ΔΩ)을 구하는 (d) 단계; 강성 변형 표현을 위해 관절과 배경에 반영할 블렌드 가중치를 CNN(Convolutional Neural Network) 디코더를 통해 예측하고, 블렌드 가중치를 관절 회전 벡터가 반영된 3D 좌표에 적용하여 강성 움직임 변형 정보( )를 캐노니컬 공간에 매핑하는 (e) 단계; 회전 위치 보정값(ΔΩ)과 강성 움직임 변형 정보( )를 비강성 움직임 학습용 MLP에 입력하여 비강성 움직임 변형을 캐노니컬 공간에 매핑하기 위해 필요한 위치 오프셋(position offset)값(Δx)을 예측하는 (f...(이하생략)
청구항
번호청구항
1

HumanNeRF를 기반으로 수행되고, 복수의 단안 카메라를 통해 촬영한 캐주얼 비디오를 정해진 프레임 수로 나누어 이미지를 추출하는 (a) 단계;(a) 단계에서 추출된 이미지에 대해 전처리를 수행하여 대상 객체의 포즈를 예측하고, 그래픽 연산 및 모델 입력에 필요한 메타 데이터를 확보하는 (b) 단계;상기 메타 데이터에 의해 입력 이미지의 왜곡을 보정하고 2D 이미지의 좌표계를 3D 공간으로의 좌표계로 변환하는 (c) 단계;상기 예측된 포즈에 대한 관절 포인트의 회전 위치 보정값(ΔΩ)을 구하는 (d) 단계;강성 변형 표현을 위해 관절과 배경에 반영할 블렌드 가중치를 CNN(Convolutional Neural Network) 디코더를 통해 예측하고, 블렌드 가중치를 관절 회전 벡터가 반영된 3D 좌표에 적용하여 강성 움직임 변형 정보()를 캐노니컬 공간에 매핑하는 (e) 단계;회전 위치 보정값(ΔΩ)과 강성 움직임 변형 정보()를 비강성 움직임 학습용 MLP에 입력하여 비강성 움직임 변형을 캐노니컬 공간에 매핑하기 위해 필요한 위치 오프셋(position offset)값(Δx)을 예측하는 (f) 단계 및강성 움직임 변형 정보()와 위치 오프셋값(Δx)의 통합값()을 MLP 신경망에 입력하여 캐노니컬 공간에서 좌표의 밀도값(σ)와 색상값(c)을 예측하는 (g) 단계를 포함하여 이루어진 동적 씬의 3차원 모델 재구성 방법.