이미지의 뎁스 정보를 이용한 스테레오 비전 이미지 개선 방법 및 장치
METHOD AND APPARATUS FOR IMPROVING STEREO VISION IMAGE USING DEPTH INFORMATION OF AN IMAGE
특허 요약
이미지의 뎁스 정보를 이용한 스테레오 비전 이미지 개선 방법 및 장치가 개시된다. 이미지의 화질을 개선하는 방법은 상기 이미지로부터 산출된 초기 뎁스 맵을 기반으로 점확산함수를 추정하는 단계, 상기 추정된 점확산함수를 이용하여 상기 이미지를 역필터링하는 단계 및 상기 역필터링된 이미지를 기반으로 뎁스 맵을 산출하는 단계를 포함할 수 있다.
청구항
번호청구항
1

이미지 개선 장치가 이미지의 화질을 개선하는 방법에 있어서,상기 이미지로부터 산출된 초기 뎁스 맵을 기반으로 점확산함수를 추정하는 단계;상기 추정된 점확산함수를 이용하여 상기 이미지를 역필터링하는 단계; 및상기 역필터링된 이미지를 기반으로 뎁스 맵을 산출하는 단계를 포함하는 이미지 개선 방법.

2

제1항에 있어서,상기 이미지는,복수개의 렌즈를 구비하는 스테레오 카메라를 통해 획득된 복수개의 이미지인 것을 특징으로 하는 이미지 개선 방법.

3

제2항에 있어서,상기 복수개의 이미지는,서로 초점이 맞지 않는 영역을 포함하는 것을 특징으로 하는 이미지 개선 방법.

4

제2항에 있어서,상기 역필터링하는 단계 이전에,상기 복수개의 이미지에 포함된 피사체들이 서로 다른 아웃포커스 정도를 가질 경우, 각 피사체에 따라 역필터링을 수행할 수 있도록 상기 복수개의 이미지를 상기 각 피사체 별로 세분화하는 단계를 더 포함하는 것을 특징으로 하는 이미지 개선 방법.

5

제2항에 있어서,상기 추정하는 단계 이전에,상기 복수개의 이미지 중 어느 하나의 이미지만 사용되는 경우, 상기 하나의 이미지와 상기 하나의 이미지로부터 산출된 뎁스 맵을 기반으로 상기 하나의 이미지의 심도 및 초점의 위치를 임의로 재조정하는 단계를 더 포함하는 것을 특징으로 하는 이미지 개선 방법.

6

제2항에 있어서,상기 추정하는 단계 이전에,상기 복수개의 이미지의 해상도가 동일하지 않을 경우, 상기 복수개의 이미지의 해상도를 맞추기 위한 리샘플링을 수행하는 단계를 더 포함하는 것을 특징으로 하는 이미지 개선 방법

7

제2항에 있어서,상기 추정하는 단계 이전에,SIFT(Scale-Invariant Feature Transform) 알고리즘을 이용하여 상기 획득된 이미지 각각에서 특징점을 추출하는 단계를 더 포함하는 것을 특징으로 하는 이미지 개선 방법.

8

제7항에 있어서,상기 초기 뎁스 맵은,상기 추출된 특징점을 기초로 산출되는 것을 특징으로 하는 이미지 개선 방법.

9

제2항에 있어서,상기 추정하는 단계는,상기 초기 뎁스 맵과 상기 스테레오 카메라의 초점 거리에 대한 정보를 이용하여 상기 점확산함수의 크기를 추정하는 단계인 것을 특징으로 하는 이미지 개선 방법.

10

제9항에 있어서,상기 역필터링하는 단계는,상기 추정된 점확산함수의 크기와 상기 점확산함수의 형태를 이용하여 상기 이미지를 역필터링하는 단계인 것을 특징으로 하는 이미지 개선 방법.

11

제1항에 있어서,상기 산출하는 단계는,상기 역필터링된 이미지로부터 특징점을 추출하고 특징점 기반의 스테레오 정합 방법을 이용하여 상기 뎁스 맵을 산출하는 단계인 것을 특징으로 하는 이미지 개선 방법.

12

제1항에 있어서,상기 산출하는 단계 이후에,상기 산출된 뎁스 맵이 기 설정된 심도 이상인지를 판단하는 단계; 및상기 산출된 뎁스 맵이 기 설정된 심도 미만인 경우 산출된 뎁스 맵을 기반으로 점확산함수를 추정하고 추정된 점확산함수를 이용하여 상기 이미지를 역필터링한 후 상기 역필터링된 이미지를 기반으로 뎁스 맵을 산출하는 과정을 반복하며, 상기 산출된 뎁스 맵이 기 설정된 심도 이상인 경우 산출된 뎁스 맵을 기반으로 상기 이미지의 3차원 정보를 복원하는 단계를 더 포함하는 것을 특징으로 하는 이미지 개선 방법.

13

스테레오 카메라를 통해 획득된 복수개의 이미지로부터 산출된 초기 뎁스 맵을 기반으로 점확산함수를 추정하는 추정부;상기 추정된 점확산함수를 이용하여 상기 이미지를 역필터링하는 역필터링부; 및상기 역필터링된 이미지를 기반으로 뎁스 맵을 산출하는 산출부를 포함하는 이미지 개선 장치.

14

제13항에 있어서,상기 복수개의 이미지는,서로 초점이 맞지 않는 영역을 포함하는 것을 특징으로 하는 이미지 개선 장치.

15

제13항에 있어서,상기 산출된 뎁스 맵이 기 설정된 심도 이상인지를 판단하는 판단부; 및상기 산출된 뎁스 맵이 기 설정된 심도 미만인 경우 산출된 뎁스 맵을 기반으로 점확산함수를 추정하고 추정된 점확산함수를 이용하여 상기 이미지를 역필터링한 후 상기 역필터링을 통과한 이미지를 기반으로 뎁스 맵을 산출하는 과정을 반복하여 상기 산출된 뎁스 맵이 기 설정된 심도 이상이 되는 경우 산출된 뎁스 맵을 기반으로 상기 이미지의 3차원 정보를 복원하는 복원부를 더 포함하는 것을 특징으로 하는 이미지 개선 장치.