라이트 필드 이미지 장치 및 방법
LIGHT FIELD IMAGING DEVICE AND METHOD
특허 요약
본 발명은 라이트 필드 이미지 장치 및 방법에 관한 것으로, 상기 장치는 물리적 카메라를 통해 적어도 하나의 객체를 포함하는 평면 이미지를 생성하는 이미지 생성부; 상기 물리적 카메라 및 상기 적어도 하나의 객체 사이에 가상적으로 배치되고 인공지능 학습 모델로 구현되는 복수의 가상 카메라 집합들을 통해 상기 적어도 하나의 객체 각각에 관한 깊이 레이어를 생성하는 깊이 레이어 생성부; 및 상기 깊이 레이어를 통해 상기 평면 이미지를 3차원 이미지로 변환하고 상기 적어도 하나의 객체 중 하나에 대하여 리포커싱(refocus)을 수행하여 상기 3차원 이미지를 가공하는 이미지 가공부를 포함한다.
청구항
번호청구항
1

물리적 카메라를 통해 적어도 하나의 객체를 포함하는 평면 이미지를 생성하고, 상기 평면 이미지를 기초로 깊이 맵(depth map)을 생성하여 상기 평면 이미지와 상기 깊이 맵으로 구성된 통합 이미지(integral image)를 생성하는 이미지 생성부;상기 물리적 카메라 및 상기 적어도 하나의 객체 사이에 가상적으로 배치되고 인공지능 학습 모델로 구현되는 복수의 가상 카메라 집합들을 통해 상기 통합 이미지를 기초로 상기 평면 이미지에 대응하는 라이트 필드 이미지들을 생성하고, 상기 라이트 필드 이미지들을 MPI(Multi Plane Image) 모델에 입력하여 상기 적어도 하나의 객체 각각에 관한 깊이 레이어를 생성하는 깊이 레이어 생성부; 및상기 깊이 레이어를 통해 상기 평면 이미지를 3차원 이미지로 변환하고 상기 적어도 하나의 객체 중 하나에 대하여 리포커싱(refocus)을 수행하여 상기 3차원 이미지를 가공하는 이미지 가공부를 포함하는 라이트 필드 (light field) 이미지 장치.

2

삭제

3

삭제

4

제1항에 있어서, 상기 깊이 레이어 생성부는상기 복수의 가상 카메라 집합들 각각을 단일 메인 렌즈와 상기 단일 메인 렌즈를 통해 투과되는 라이트 범위(light range)에 있는 동일 평면 상에 배치되는 복수의 마이크로 렌즈들로 구성하는 것을 특징으로 하는 라이트 필드 이미지 장치.

5

제4항에 있어서, 상기 깊이 레이어 생성부는상기 복수의 마이크로 렌즈들 각각을 협각 학습 모델로 구현하고 상기 메인 렌즈를 상기 협각 학습 모델에 전체적인 라이트 방향을 제공하는 광각 학습 모델로 구현하는 것을 특징으로 하는 라이트 필드 이미지 장치.

6

제4항에 있어서, 상기 깊이 레이어 생성부는상기 단일 메인 렌즈를 통해 처리되는 객체의 입체성을 조절하기 위해 상기 단일 메인 렌즈 및 상기 복수의 마이크로 렌즈들 간의 거리를 가변시키는 것을 특징으로 하는 라이트 필드 이미지 장치.

7

제1항에 있어서, 상기 깊이 레이어 생성부는상기 적어도 하나의 객체 중 하나를 배경 객체로 설정하고 상기 배경 객체를 가장 깊은 깊이를 가지는 배경 레이어에 배치하는 것을 특징으로 하는 라이트 필드 이미지 장치.

8

제1항에 있어서, 상기 이미지 가공부는상기 리포커싱의 과정에서 나머지 객체와의 상대적 거리와 무관하게 배경 레이어의 깊이를 독립적으로 증가시킬 수 있도록 상기 배경 레이어를 구성하는 것을 특징으로 하는 라이트 필드 이미지 장치.

9

제1항에 있어서, 상기 이미지 가공부는상기 적어도 하나의 객체 중 배경 객체를 제외한 나머지 객체의 깊이 레이어의 배치를 변경하여 상기 3차원 이미지를 재구성하는 것을 특징으로 하는 라이트 필드 이미지 장치.

10

제1항에 있어서, 상기 이미지 가공부는상기 적어도 하나의 객체 중 배경 객체를 제외한 배경 제외 객체를 선별하여 해당 깊이 레이어 기반의 객체로서 다른 3차원 이미지에 삽입하는 것을 특징으로 하는 라이트 필드 이미지 장치.

11

물리적 카메라를 통해 적어도 하나의 객체를 포함하는 평면 이미지를 생성하고, 상기 평면 이미지를 기초로 깊이 맵(depth map)을 생성하여 상기 평면 이미지와 상기 깊이 맵으로 구성된 통합 이미지(integral image)를 생성하는 이미지 생성단계;상기 물리적 카메라 및 상기 적어도 하나의 객체 사이에 가상적으로 배치되고 인공지능 학습 모델로 구현되는 복수의 가상 카메라 집합들을 통해 상기 통합 이미지를 기초로 상기 평면 이미지에 대응하는 라이트 필드 이미지들을 생성하고, 상기 라이트 필드 이미지들을 MPI(Multi Plane Image) 모델에 입력하여 상기 적어도 하나의 객체 각각에 관한 깊이 레이어를 생성하는 깊이 레이어 생성단계; 및상기 깊이 레이어를 통해 상기 평면 이미지를 3차원 이미지로 변환하고 상기 적어도 하나의 객체 중 하나에 대하여 리포커싱(refocus)을 수행하여 상기 3차원 이미지를 가공하는 이미지 가공단계를 포함하는 라이트 필드 (light field) 이미지 방법.

12

제11항에 있어서, 상기 깊이 레이어 생성단계는상기 복수의 가상 카메라 집합들 각각을 단일 메인 렌즈와 상기 단일 메인 렌즈를 통해 투과되는 라이트 범위(light range)에 있는 동일 평면 상에 배치되는 복수의 마이크로 렌즈들로 구성하는 단계를 포함하는 것을 특징으로 하는 라이트 필드 이미지 방법.

13

제11항에 있어서, 상기 이미지 가공단계는상기 적어도 하나의 객체 중 배경 객체를 제외한 나머지 객체의 깊이 레이어의 배치를 변경하여 상기 3차원 이미지를 재구성하는 단계를 포함하는 것을 특징으로 하는 라이트 필드 이미지 방법.

14

제11항에 있어서, 상기 이미지 가공단계는상기 적어도 하나의 객체 중 배경 객체를 제외한 배경 제외 객체를 선별하여 해당 깊이 레이어 기반의 객체로서 다른 3차원 이미지에 삽입하는 단계를 포함하는 것을 특징으로 하는 라이트 필드 이미지 방법.