디인터레이싱 방법 및 장치
Method and Apparatus for Deinterlacing
특허 요약
본 실시예는 비월주사 영상을 순차주사 영상으로 변환함에 있어서 움직임 보상 과정을 수행하지 않고 전후 인접 필드 영상의 시공간적 정보를 활용함으로써 그 수행 과정에 대한 복잡도를 감소시키면서도 고해상도의 순차주사 영상이 생성될 수 있도록 하는 컨볼루션 신경망 기반의 디인터레이싱 방법 및 장치에 관한 것이다.
청구항
번호청구항
1

비월주사 방식의 영상 신호를 순차주사 방식의 영상 신호로 변환하는 디인터레이싱 장치에 있어서,디인터레이싱 대상이되는 대상 필드 영상을 중심으로 이전 N(N=자연수)개의 필드 영상 및 이후 N개의 필드 영상으로 이루어진 일련의 연속된 비월주사 필드 영상을 수신하고, 상기 각각의 비월주사 필드 영상을 인접한 비월주사 필드 영상 간 화소의 정렬이 어긋나지 않도록 지정된 크기에 맞게 세로 방향으로 보간하여 비월주사 프레임 영상으로 변환시켜 출력하는 변환부;상기 비월주사 프레임 영상을 수신하여 컨볼루션 신경망에 적용하고, 적용결과에 따라 상기 대상 필드 영상을 상기 비월주사 프레임 영상으로 변환하는 과정에서 보간이 이루어진 짝수 또는 홀수 화소 라인에 대한 화소 정보를 산출하는 학습부; 및상기 대상 필드 영상에 대응되는 대상 프레임 영상 및 상기 화소 정보를 기반으로 순차주사 프레임 영상을 생성하는 생성부를 포함하는 것을 특징으로 하는 디인터레이싱 장치.

2

삭제

3

삭제

4

삭제

5

제 1항에 있어서,상기 학습부는, 상기 화소 정보로서 상기 짝수 또는 홀수 화소 라인의 원본 신호와 보간 신호 사이의 차분 신호를 산출하고,상기 생성부는, 상기 대상 프레임 영상 내 대응되는 화소 라인에 상기 차분 신호를 적용하여 상기 순차주사 프레임 영상을 생성하는 것을 특징으로 하는 디인터레이싱 장치.

6

제 1항에 있어서,상기 컨볼루션 신경망은,제1 내지 제N 컨볼루션 계층으로 이루어지며, 각각의 컨볼루션 계층은 입력 프레임을 적어도 하나의 필터를 이용하여 컨볼빙하여 상기 비월주사 필드 영상의 화소값의 변화 특징을 나타내는 적어도 하나의 특징 맵을 생성하는 것을 특징으로 하는 디인터레이싱 장치.

7

제 6항에 있어서,상기 제1 컨볼루션 계층은 상기 비월주사 프레임 영상을 상기 입력 프레임으로 수신하여 최초 특징 맵을 생성하고, 제2 내지 제N 컨볼루션 계층은 선행 컨볼루션 계층으로부터 생성된 특징 맵을 상기 입력 프레임으로서 수신하여 새로운 특징 맵을 생성하는 것을 특징으로 하는 디인터레이싱 장치.

8

제 6항에 있어서,상기 제1 내지 제N-1 컨볼루션 계층은,상기 입력 프레임을 서로 상이한 필터 계수를 갖는 복수 개의 필터를 이용하여 컨볼빙하여 복수 개의 특징 맵을 생성하는 것을 특징으로 하는 디인터레이싱 장치.

9

제 8항에 있어서,상기 제2 내지 제N 컨볼루션 계층은,선행 컨볼루션 계층으로부터 입력받은 복수 개의 특징 맵을 조합하고, 조합된 특징 맵을 상기 복수 개의 필터를 이용하여 컨볼빙하는 것을 특징으로 하는 디인터레이싱 장치.

10

제 6항에 있어서,상기 제N 컨볼루션 계층은,상기 비월주사 필드 영상의 크기에 따라 상기 컨볼빙 수행 시의 상기 필터의 이동 간격이 상이하게 결정되는 것을 특징으로 하는 디인터레이싱 장치.

11

디인터레이싱 장치의 디인터레이싱 방법에 있어서,디인터레이싱 대상이되는 대상 필드 영상을 중심으로 이전 N(N=자연수)개의 필드 영상 및 이후 N개의 필드 영상으로 이루어진 일련의 연속된 비월주사 필드 영상을 수신하고, 상기 각각의 비월주사 필드 영상을 인접한 비월주사 필드 영상 간 화소의 정렬이 어긋나지 않도록 지정된 크기에 맞게 세로 방향으로 보간하여 비월주사 프레임 영상으로 변환하는 과정;상기 비월주사 프레임 영상을 컨볼루션 신경망에 적용하고, 적용결과에 따라 상기 대상 필드 영상을 상기 비월주사 프레임 영상으로 변환하는 과정에서 보간이 이루어진 짝수 또는 홀수 화소 라인에 대한 화소 정보를 산출하는 과정; 및상기 대상 필드 영상에 대응되는 대상 프레임 영상 및 상기 화소 정보를 기반으로 순차주사 프레임 영상을 생성하는 과정을 포함하는 것을 특징으로 하는 디인터레이싱 방법.

12

삭제

13

제 11항에 있어서,상기 생성하는 과정은, 상기 대상 프레임 영상 내 대응되는 화소 라인에 상기 화소 정보를 적용하여 상기 순차주사 프레임 영상을 생성하는 것을 특징으로 하는 디인터레이싱 방법.