기초 영상을 이용한 영상 개선 방법 및 장치
METHOD AND APPARATUS FOR IMAGE ENHANCEMENT USING BASE IMAGE
특허 요약
기초 영상을 이용한 영상 개선 방법 및 장치가 제공된다. 그 방법은 공간 특징 추출기를 이용하여 연사 영상 세트의 개별 영상 프레임들로부터 공간 특징 표현들을 추출하고, 상기 공간 특징 표현들 간의 로컬 유사도에 기초하여 시간 특징 표현들을 생성하고, 상기 공간 특징 표현들과 상기 시간 특징 표현들을 융합하여 시간-공간 특징 표현들을 결정하고, 상기 시간-공간 특징 표현들에 기초하여 상기 개별 영상 프레임들로부터 기초 영상 프레임을 선택하고, 상기 기초 영상 프레임에 기초하여 상기 연사 영상 세트에 대한 영상 개선 작업을 수행하여 개선된 영상을 생성하는 단계들을 포함할 수 있다.
청구항
번호청구항
1

공간 특징 추출기를 이용하여 연사 영상 세트의 개별 영상 프레임들로부터 공간 특징 표현들을 추출하는 단계;상기 공간 특징 표현들 간의 로컬 유사도에 기초하여 시간 특징 표현들을 생성하는 단계;상기 공간 특징 표현들과 상기 시간 특징 표현들을 융합하여 시간-공간 특징 표현들을 결정하는 단계;상기 시간-공간 특징 표현들에 기초하여 상기 개별 영상 프레임들로부터 기초 영상 프레임을 선택하는 단계; 및상기 기초 영상 프레임에 기초하여 상기 연사 영상 세트에 대한 영상 개선 작업을 수행하여 개선된 영상을 생성하는 단계를 포함하는 영상 개선 방법.

2

제1항에 있어서,상기 시간 특징 표현들을 생성하는 단계는상기 공간 특징 표현들로부터 타겟 공간 특징 표현을 선택하는 단계;상기 타겟 공간 특징 표현의 윈도우 영역들과 상기 공간 특징 표현들의 서치 영역들을 비교하는 단계; 및상기 비교 결과에 기초하여 상기 시간 특징 표현들 중 상기 타겟 공간 특징 표현에 대응하는 시간 특징 표현을 생성하는 단계를 포함하는, 영상 개선 방법.

3

제2항에 있어서,상기 공간 특징 표현들과 상기 타겟 공간 특징 표현을 비교하는 단계는상기 공간 특징 표현들로부터 제1 공간 특징 표현을 선택하는 단계;상기 타겟 공간 특징 표현의 상기 윈도우 영역들의 제1 윈도우 영역과 상기 제1 공간 특징 표현에서 상기 제1 윈도우 영역에 대응하는 제1 서치 영역을 비교하는 단계; 및상기 타겟 공간 특징 표현의 상기 윈도우 영역들의 제2 윈도우 영역과 상기 제1 공간 특징 표현에서 상기 제2 윈도우 영역에 대응하는 제2 서치 영역을 비교하는 단계를 포함하는, 영상 개선 방법.

4

제1항에 있어서,상기 시간 특징 표현들은상기 개별 영상 프레임들의 모션 정보를 포함하는,영상 개선 방법.

5

제1항에 있어서,상기 시간-공간 특징 표현들을 결정하는 단계는상기 공간 특징 표현들의 사이즈와 상기 시간 특징 표현들의 사이즈를 맞추는 단계; 및상기 공간 특징 표현들의 특징 값들과 상기 시간 특징 표현들의 특징 값들의 엘리먼트와이즈 덧셈 연산에 기초하여 상기 시간-공간 특징 표현들을 결정하는 단계를 포함하는, 영상 개선 방법.

6

제1항에 있어서,상기 시간 특징 표현들을 생성하는 단계 및 상기 시간-공간 특징 표현들을 결정하는 단계는 반복적으로 수행되고,상기 기초 영상 프레임은 상기 반복적인 수행 결과에 따른 최종 시간-공간 특징 표현들에 기초하여 선택되는,영상 개선 방법.

7

제1항에 있어서,상기 개별 영상 프레임들은복합 열화를 갖는,영상 개선 방법.

8

제1항에 있어서,상기 개별 영상 프레임들은서로 다른 노출 시간들로 생성되는,영상 개선 방법.

9

제1항에 있어서,상기 기초 영상 프레임을 선택하는 단계는상기 시간-공간 특징 표현들에 대응하는 선택 가이드 벡터를 생성하는 단계; 및상기 선택 가이드 벡터의 벡터 값들에 기초하여 상기 개별 영상 프레임들로부터 상기 기초 영상 프레임을 선택하는 단계를 포함하는, 영상 개선 방법.

10

하드웨어와 결합되어 제1항 내지 제9항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.

11

전자 장치에 있어서,하나 이상의 프로세서; 및명령어들을 저장하는 메모리를 포함하고,상기 명령어들이 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 전자 장치로 하여금,공간 특징 추출기를 이용하여 연사 영상 세트의 개별 영상 프레임들로부터 공간 특징 표현들을 추출하고,상기 공간 특징 표현들 간의 로컬 유사도에 기초하여 시간 특징 표현들을 생성하고,상기 공간 특징 표현들과 상기 시간 특징 표현들을 융합하여 시간-공간 특징 표현들을 결정하고,상기 시간-공간 특징 표현들에 기초하여 상기 개별 영상 프레임들로부터 기초 영상 프레임을 선택하고,상기 기초 영상 프레임에 기초하여 상기 연사 영상 세트에 대한 영상 개선 작업을 수행하여 개선된 영상을 생성하도록 하는,전자 장치.

12

제11항에 있어서,상기 명령어들이 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 전자 장치로 하여금, 상기 시간 특징 표현들을 생성하기 위해,상기 공간 특징 표현들로부터 타겟 공간 특징 표현을 선택하고,상기 타겟 공간 특징 표현의 윈도우 영역들과 상기 공간 특징 표현들의 서치 영역들을 비교하고,상기 비교 결과에 기초하여 상기 시간 특징 표현들 중 상기 타겟 공간 특징 표현에 대응하는 시간 특징 표현을 생성하도록 하는,전자 장치.

13

제12항에 있어서,상기 명령어들이 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 전자 장치로 하여금, 상기 공간 특징 표현들과 상기 타겟 공간 특징 표현을 비교하기 위해,상기 공간 특징 표현들로부터 제1 공간 특징 표현을 선택하고,상기 타겟 공간 특징 표현의 상기 윈도우 영역들의 제1 윈도우 영역과 상기 제1 공간 특징 표현에서 상기 제1 윈도우 영역에 대응하는 제1 서치 영역을 비교하고,상기 타겟 공간 특징 표현의 상기 윈도우 영역들의 제2 윈도우 영역과 상기 제1 공간 특징 표현에서 상기 제2 윈도우 영역에 대응하는 제2 서치 영역을 비교하도록 하는,전자 장치.

14

제11항에 있어서,상기 시간 특징 표현들은상기 개별 영상 프레임들의 모션 정보를 포함하는,전자 장치.

15

제11항에 있어서,상기 명령어들이 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 전자 장치로 하여금, 상기 시간-공간 특징 표현들을 결정하기 위해,상기 공간 특징 표현들의 사이즈와 상기 시간 특징 표현들의 사이즈를 맞추고,상기 공간 특징 표현들의 특징 값들과 상기 시간 특징 표현들의 특징 값들의 엘리먼트와이즈 덧셈 연산에 기초하여 상기 시간-공간 특징 표현들을 결정하도록 하는,전자 장치.

16

제11항에 있어서,상기 시간 특징 표현들을 생성하는 단계 및 상기 시간-공간 특징 표현들을 결정하는 단계는 반복적으로 수행되고,상기 기초 영상 프레임은 상기 반복적인 수행 결과에 따른 최종 시간-공간 특징 표현들에 기초하여 선택되는,전자 장치.

17

제11항에 있어서,상기 개별 영상 프레임들은복합 열화를 갖는,전자 장치.

18

제11항에 있어서,상기 전자 장치는상기 연사 영상 세트를 생성하는 카메라를 더 포함하는,전자 장치.

19

제18항에 있어서,상기 카메라는서로 다른 노출 시간들로 상기 연사 영상 세트의 상기 개별 영상 프레임들을 생성하는,전자 장치.

20

제11항에 있어서,상기 명령어들이 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 전자 장치로 하여금, 상기 기초 영상 프레임을 선택하기 위해,상기 시간-공간 특징 표현들에 대응하는 선택 가이드 벡터를 생성하고,상기 선택 가이드 벡터의 벡터 값들에 기초하여 상기 개별 영상 프레임들로부터 상기 기초 영상 프레임을 선택하도록 하는,전자 장치.