다수의 프레임으로 구성되는 영상을 획득하여 출력하는 영상 획득부;상기 영상 획득부를 통해 획득되는 영상에서 적어도 하나 이상의 프레임을 포함하는 샷을 검출하여 출력하는 샷 분할부;상기 샷 분할부에서 분할된 샷에 포함되어 있는 객체를 검출하고 검출된 객체정보를 출력하는 객체 검출부;상기 샷 및 상기 해당 샷별 객체정보를 입력받고 샷별 객체의 변화에 따른 집합이론을 적용하여 장면의 경계를 검출하고, 경계 정보를 출력하는 장면 경계 검출부; 및상기 경계 정보에 의해 장면을 분할하고, 분할된 장면정보를 생성하여 출력하는 장면정보 생성부를 포함하고,상기 장면 경계 검출부는,상기 샷이 다른 샷과 동일한 객체를 포함하는지 여부에 따라 상기 장면의 경계를 검출하고,적어도 셋 이상의 샷을 포함하도록 구성되어 순차적으로 하나의 샷 단위로 이동하는 슬라이딩 윈도우를 구비하되, 상기 슬라이딩 윈도우의 마지막 샷과 이전 샷 중 어느 하나 이상의 샷에서 검출된 객체들을 비교하여 집합이론에 따른 장면 경계를 검출하는객체탐지 및 집합이론을 이용한 영상의 장면 분할 장치.

제1항에 있어서,상기 샷 분할부는,상기 영상 획득부로부터 입력되는 영상을 프레임으로 분할하여 출력하는 프레임 검출부;상기 프레임 검출부에서 출력되는 프레임별로 컬러 히스토그램을 적용하여 색 특징을 추출하고, 추출된 색 특징에 대한 색 특징정보를 출력하는 색 특징정보 추출부;상기 프레임 검출부에서 출력되는 프레임별로 로컬 바이너리 패턴(Local Binary Patten: LBP)을 적용하여 질감 특징을 추출하고, 추출된 질감 특징에 대한 질감 특징정보를 출력하는 텍스처 특징정보 추출부; 및연속 입력되는 프레임 중 연속되는 두 프레임에 대해 상기 색 특징정보 추출부 및 텍스처 특징정보 추출부로부터 입력되는 색 특징정보 및 질감 특징정보를 비교하여 유사성을 계산하고, 계산된 유사성이 미리 설정된 기준치를 초과하는지에 따라 샷을 분할하여 출력하는 샷 결정부를 포함하는 것을 특징으로 하는 객체탐지 및 집합이론을 이용한 영상의 장면 분할 장치.

제2항에 있어서,상기 색 특징정보 추출부는,상기 컬러 히스토그램으로, 색상, 채도, 명도로 색을 지정하는 HSV(Hue saturation value)를 적용하는 것을 특징으로 하는 객체탐지 및 집합이론을 이용한 영상의 장면 분할 장치.

제3항에 있어서,상기 텍스처 특징정보 추출부는,58개의 균일한 패턴만을 선택한 다음 5개의 2*2의 각도 구조를 적용한 290개의 질감 특징을 벡터로 구분하여 질감 특징정보를 출력하는 것을 특징으로 하는 객체탐지 및 집합이론을 이용한 영상의 장면 분할 장치.

제4항에 있어서,상기 샷 결정부는,360 크기의 특징 벡터(Feature Vector, FV)로 표현되는 단일 프레임 열 중 두 프레임 간의 유사성 점수를 하기 수학식 2에 의해 계산하고,상기 360 크기의 특징 벡터는상기 HSV 색상 모델의 색상 양자화로 획득되는 70(bin)의 색상 히스토그램과 290개의 질감 특징을 연결하여 달성되는 것을 특징으로 하는 객체탐지 및 집합이론을 이용한 영상의 장면 분할 장치.[수학식 2]상기 수학식 2에서, FVi(a)와 FVi(b)는 상기 두 프레임에 대한 360 크기의 특징 벡터임.

제1항에 있어서,상기 객체 검출부는,분할된 각 샷에 대해 영화의 장면을 구성하는 중요한 하나 이상의 객체들에 대해 합성곱 신경망 네트워크(Convolution Neural Network: CNN) 학습을 수행한 CNN 모델에 의해 객체를 검출하는 것을 특징으로 하는 객체탐지 및 집합이론을 이용한 영상의 장면 분할 장치.

삭제

영상 획득부가 다수의 프레임으로 구성되는 영상을 획득하여 출력하는 영상 획득 과정;샷 분할부가 상기 영상 획득부를 통해 획득되는 영상에서 적어도 하나 이상의 프레임을 포함하는 샷을 검출하여 출력하는 샷 분할 과정;객체 검출부가 상기 샷 분할부에서 분할된 샷에 포함된 객체를 검출하고 검출된 객체정보를 출력하는 객체 검출 과정;장면 경계 검출부가 상기 샷 및 상기 해당 샷별 객체정보를 입력받고 샷별 객체의 변화에 따른 집합이론을 적용하여 장면의 경계를 검출하고, 경계 정보를 출력하는 장면 경계 검출 과정; 및장면정보 생성부가 상기 경계 정보에 의해 장면을 분할하고, 분할된 장면정보를 생성하여 출력하는 장면정보 생성 과정을 포함하고,상기 장면 경계 검출 과정은,상기 샷이 다른 샷과 동일한 객체를 포함하는지 여부에 따라 상기 장면의 경계를 검출하고,적어도 셋 이상의 샷을 포함하도록 구성되어 순차적으로 하나의 샷 단위로 이동하는 슬라이딩 윈도우를 구비하되, 상기 슬라이딩 윈도우의 마지막 샷과 이전 샷 중 어느 하나 이상의 샷에서 검출된 객체들을 비교하여 집합이론에 따른 장면 경계를 검출하는객체탐지 및 집합이론을 이용한 영상의 장면 분할 방법.

제8항에 있어서,상기 샷 분할 과정은,프레임 검출부가 상기 영상 획득부로부터 입력되는 영상을 프레임으로 분할하여 출력하는 프레임 검출 단계;색 특징정보 추출부가 상기 프레임 검출부에서 출력되는 프레임별로 컬러 히스토그램을 적용하여 색 특징을 추출하여 출력하는 색 특징정보 추출 단계;텍스처 특징정보 추출부가 상기 프레임 검출부에서 출력되는 프레임별로 로컬 바이너리 패턴(Local Binary Patten: LBP)을 적용하여 질감 특징을 추출하여 출력하는 텍스처 특징정보 추출 단계; 및샷 결정부가 연속 입력되는 프레임 중 연속되는 두 프레임에 대해 상기 색 특징정보 추출부 및 텍스처 특징정보 추출부로부터 입력되는 색 특징정보 및 질감 특징정보를 비교하여 유사성을 계산하고, 계산된 유사성이 미리 설정된 기준치를 초과하는지에 따라 샷을 분할하여 출력하는 샷 결정 단계를 포함하는 것을 특징으로 하는 객체탐지 및 집합이론을 이용한 영상의 장면 분할 방법.

제9항에 있어서,상기 색 특징정보 추출부는,상기 색 특징정보 추출 단계에서 상기 컬러 히스토그램으로, 색상, 채도, 명도로 색을 지정하는 HSV(Hue saturation value)를 적용하여 색 특징정보를 추출하는 것을 특징으로 하는 객체탐지 및 집합이론을 이용한 영상의 장면 분할 방법.

제10항에 있어서,상기 텍스처 특징정보 추출부는,상기 텍스처 특징정보 추출 단계에서 58개의 균일한 패턴만을 선택한 다음 5개의 2*2의 각도 구조를 적용한 290개의 질감 특징을 벡터로 구분하여 질감 특징정보를 출력하는 것을 특징으로 하는 객체탐지 및 집합이론을 이용한 영상의 장면 분할 방법.

제11항에 있어서,상기 샷 결정부는,360 크기의 특징 벡터(Feature Vector: FV)로 표현되는 단일 프레임 열 중 두 프레임 간의 유사성 점수를 하기 수학식 2에 의해 계산하고,상기 360 크기의 특징 벡터는상기 HSV 색상 모델의 색상 양자화로 획득되는 70(bin)의 색상 히스토그램과 290개의 질감 특징을 연결하여 달성되는 것을 특징으로 하는 객체탐지 및 집합이론을 이용한 영상의 장면 분할 방법.[수학식 2]상기 수학식 2에서, FVi(a)와 FVi(b)는 상기 두 프레임에 대한 360 크기의 특징 벡터임.