다시점 360도 영상의 초해상화 방법 및 영상처리장치
SUPER-RESOLUTION METHOD FOR MULTI-VIEW 360-DEGREE IMAGE AND IMAGE PROCESSING APPARATUS
특허 요약
다시점 360도 영상의 초해상화 방법은 영상처리장치가 다시점을 제공하는 복수의 360도 영상 중 저해상도인 타깃 영상 및 고해상도인 레퍼런스 영상을 입력받는 단계, 상기 영상처리장치가 상기 타깃 영상의 시점을 기준으로 깊이 기반으로 상기 레퍼런스 영상을 변환하는 단계, 상기 영상처리장치가 신경망 모델을 이용하여 상기 변환된 레퍼런스 영상 및 업 샘플링된 타깃 영상을 기준으로 플로우(flow)를 추정하는 단계, 상기 영상처리장치가 신경망 모델을 이용하여 상기 변환된 레퍼런스 영상의 제1 특징 맵을 생성하면서, 상기 플로우를 반영하여 개량된 제1 특징 맵을 생성하는 단계, 상기 영상처리장치가 신경망 모델을 이용하여 상기 업 샘플링된 타깃 영상의 제2 특징 맵을 생성하는 단계 및 상기 영상처리장치가 신경망 모델을 이용하여 상기 개량된 제1 특징 맵 및 상기 제2 특징 맵을 기준으로 상기 타깃 영상에 대한 초해상화를 수행하는 단계를 포함한다.
청구항
번호청구항
1

영상처리장치가 다시점을 제공하는 복수의 360도 영상 중 저해상도인 타깃 영상 및 고해상도인 레퍼런스 영상을 입력받는 단계;상기 영상처리장치가 상기 타깃 영상의 시점을 기준으로 깊이 기반으로 상기 레퍼런스 영상을 변환하는 단계;상기 영상처리장치가 신경망 모델을 이용하여 상기 변환된 레퍼런스 영상 및 업 샘플링된 타깃 영상을 기준으로 플로우(flow)를 추정하는 단계;상기 영상처리장치가 신경망 모델을 이용하여 상기 변환된 레퍼런스 영상의 제1 특징 맵을 생성하면서, 상기 플로우를 반영하여 개량된 제1 특징 맵을 생성하는 단계;상기 영상처리장치가 신경망 모델을 이용하여 상기 업 샘플링된 타깃 영상의 제2 특징 맵을 생성하는 단계; 및상기 영상처리장치가 신경망 모델을 이용하여 상기 개량된 제1 특징 맵 및 상기 제2 특징 맵을 기준으로 상기 타깃 영상에 대한 초해상화를 수행하는 단계를 포함하되,상기 영상처리장치는 상기 레퍼런스 영상 및 상기 레퍼런스 영상의 깊이 정보를 이용하여 상기 레퍼런스 영상을 촬영한 카메라 위치 및 상기 타깃 영상을 촬영한 카메라 위치를 기준으로 상기 레퍼런스 영상의 시점을 변환하는 다시점 360도 영상의 초해상화 방법.

2

삭제

3

제1항에 있어서,상기 영상처리장치는 상기 저해상도인 타깃 영상을 상기 레퍼런스 영상의 크기와 동일하게 업 샘플링하는 단계를 더 포함하는 다시점 360도 영상의 초해상화 방법.

4

제1항에 있어서,상기 영상처리장치는 제1 복수의 컨볼루션 계층을 포함하는 제1 인코더로 상기 플로우를 추정하고, 상기 제1 복수의 컨볼루션 계층과 동일한 구조의 제2 복수의 컨볼루션 계층을 포함하는 제2 인코더로 상기 변환된 레퍼런스 영상의 제1 특징 맵을 생성하되,상기 제1 복수의 컨볼루션 계층의 각 계층에서 추정된 플로우를 상기 제2 복수의 컨볼루션 계층에서 대응되는 계층에 전달하여 상기 개량된 제1 특징 맵을 생성하는 다시점 360도 영상의 초해상화 방법.

5

제1항에 있어서,상기 영상처리장치는 상기 개량된 제1 특징 맵 및 상기 제2 특징 맵을 디코더에 입력하여 상기 타깃 영상에 대한 고해상도 영상을 생성하는 다시점 360도 영상의 초해상화 방법.

6

제1항에 있어서,상기 영상처리장치는 CNN(convolutional neural network) 인코더-디코더를 이용하여 상기 초해상화를 수행하되,상기 CNN 인코더-디코더는 상기 플로우를 추정하는 제1 인코더, 상기 개량된 제1 특징 맵 및 상기 제2 특징 맵을 생성하는 제2 인코더 및 상기 개량된 제1 특징 맵 및 상기 제2 특징 맵을 입력받아 상기 타깃 영상에 대한 고해상도 영상을 생성하는 디코더를 포함하는 다시점 360도 영상의 초해상화 방법.

7

복수의 360도 영상 중 저해상도인 타깃 영상 및 고해상도인 레퍼런스 영상을 입력받는 입력장치;360도 영상에 대한 초해상화를 수행하는 신경망 모델을 저장하는 저장장치; 및상기 타깃 영상의 시점을 기준으로 깊이 기반으로 상기 레퍼런스 영상을 변환하고, 상기 변환된 레퍼런스 영상 및 업 샘플링된 타깃 영상을 상기 신경망 모델에 입력하여 상기 타깃 영상에 대한 초해상화를 수행하는 연산장치를 포함하되,상기 신경망 모델은 플로우를 추정하는 제1 인코더, 상기 플로우를 반영하여 상기 변환된 레퍼런스 영상에 대한 개량된 제1 특징 맵 및 상기 업 샘플링된 타깃 영상에 대한 제2 특징 맵을 생성하는 제2 인코더 및 상기 개량된 제1 특징 맵 및 상기 제2 특징 맵을 입력받아 상기 타깃 영상에 대한 고해상도 영상을 생성하는 디코더를 포함하되,상기 연산장치는 상기 저해상도인 타깃 영상을 상기 레퍼런스 영상의 크기와 동일하게 업 샘플링하는 다시점 360도 영상의 초해상화를 수행하는 영상처리장치.

8

제7항에 있어서,상기 연산장치는 상기 레퍼런스 영상 및 상기 레퍼런스 영상의 깊이 정보를 이용하여 상기 레퍼런스 영상을 촬영한 카메라 위치 및 상기 타깃 영상을 촬영한 카메라 위치를 기준으로 상기 레퍼런스 영상의 시점을 변환하는 다시점 360도 영상의 초해상화를 수행하는 영상처리장치.

9

삭제

10

제7항에 있어서,상기 연산장치는 제1 복수의 컨볼루션 계층을 포함하는 상기 제1 인코더로 상기 플로우를 추정하고, 상기 제1 복수의 컨볼루션 계층과 동일한 구조의 제2 복수의 컨볼루션 계층을 포함하는 상기 제2 인코더로 상기 변환된 레퍼런스 영상의 제1 특징 맵을 생성하되,상기 제1 복수의 컨볼루션 계층의 각 계층에서 추정된 플로우를 상기 제2 복수의 컨볼루션 계층에서 대응되는 계층에 전달하여 상기 개량된 제1 특징 맵을 생성하는 다시점 360도 영상의 초해상화를 수행하는 영상처리장치.

11

제7항에 있어서,상기 타깃 영상 및 상기 레퍼런스 영상은 ERP(Equirectangular projection), CMP(cube map projection), RCMP(Reshaped Cubemap Projection), ISP(icosahedral projection) 및 OCP(octachedron projection) 맵핑 기법 중 어느 하나를 통해 360도 영상으로 변환된 영상인 다시점 360도 영상의 초해상화를 수행하는 영상처리장치.

12

컴퓨터에서 제1항 및 제3항 내지 제6항 중 어느 하나의 항의 다시점 360도 영상의 초해상화 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.