객체 맥락화 데이터를 활용한 영상 재현 장치 및 방법
APPARATUS AND METHOD FOR REPRODUCING VIDEO USING OBJECT CONTEXTUALIZATION DATA
특허 요약
본 발명의 객체 맥락화 데이터를 활용한 동영상 재현 장치는 CCTV 카메라 등에 입력되는 영상으로부터 사람이나 자동차 등 사물이 포함되지 않은 배경 이미지를 추출하여 저장하고, 해당 영상을 분석하여 객체들을 검출하여 프레임 별로 객체 맥락화 데이터를 구성하여 저장한 후 검색 조건에 따라 객체 맥락화 데이터를 대상으로 영상을 검색한 후 추출된 배경 이미지와 검출된 객체 이미지를 결합하여 동영상을 구성한 후 재현한다.
청구항
번호청구항
1

고정된 장소에 설치된 카메라로부터 촬영된 촬영 영상을 수신하는 영상 수신부;수신한 촬영 영상의 연속된 프레임에서 배경 이미지를 추출하여 저장하는 배경 이미지 추출부;제1 딥러닝 모델을 사용하여 수신한 촬영 영상에 대하여 프레임 별로 복수의 객체를 검출하여 객체의 종류를 분류하고, 객체의 종류와 객체의 위치 정보와 객체의 위치 정보에 기초하여 추출한 객체 이미지를 포함하는 객체 속성 정보를 생성하는 객체 검출부;객체가 검출된 프레임 별로 검출된 프레임 정보, 객체의 종류와 수, 각 객체의 객체 속성 정보를 포함하는 프레임 맥락화 데이터를 생성하여 저장하는 프레임 맥락화부;프레임 별 검출된 객체들의 리스트와 프레임 별 상기 프레임 맥락화 데이터를 포함하는 객체 맥락화 데이터를 생성하여 저장하는 객체 맥락화부;입력된 검색 조건에 기초하여 객체 맥락화 데이터를 대상으로 텍스트 검색 기반으로 상기 검색 조건에 부합하는 프레임들을 검색하는 영상 검색부;배경 이미지와 검색된 프레임에서 검출된 객체 이미지를 결합하여 동영상을 재현하는 영상 재현부;포함하는 객체 맥락화 데이터를 활용한 영상 재현 장치.

2

제 1 항에 있어서, 영상 재현부는 검색된 프레임에서 검출된 객체의 종류가 미리 설정된 프라이버시 보호 객체이면 객체 이미지를 미리 설정된 대체 이미지로 대체하여 동영상을 재현하는, 객체 맥락화 데이터를 활용한 영상 재현 장치.

3

제 1 항에 있어서, 배경 이미지 추출부는 수신한 촬영 영상의 연속된 프레임에서 배경 이미지를 추출하되, 시간대 별로 다른 배경 이미지를 추출하여 저장하고,영상 재현부는 검색된 프레임의 프레임 정보에 포함된 촬영 시각에 기초하여 배경 이미지를 선택하는, 객체 맥락화 데이터를 활용한 영상 재현 장치.

4

제 1 항에 있어서, 배경 이미지 추출부는 수신한 촬영 영상의 연속된 프레임에서 배경 이미지를 추출하되, 계절 별로 다른 배경 이미지를 추출하여 저장하고,영상 재현부는 검색된 프레임의 프레임 정보에 포함된 촬영 시각에 기초하여 배경 이미지를 선택하는, 객체 맥락화 데이터를 활용한 영상 재현 장치.

5

제 1 항에 있어서, 배경 이미지 추출부는 수신한 촬영 영상의 연속된 프레임에서 배경 이미지를 추출하되, 날씨 별로 다른 배경 이미지를 추출하여 저장하고,영상 재현부는 검색된 프레임 영상에 대하여 해당 프레임이 촬영된 시간의 날씨에 기초하여 배경 이미지를 선택하는, 객체 맥락화 데이터를 활용한 영상 재현 장치.

6

제 1 항에 있어서, 제2 딥러닝 모델을 사용하여 사람이 검출된 연속 프레임에서 사람의 행위를 인식하고, 사람이 검출된 연속 프레임의 프레임 별 객체 속성 정보에 인식된 행위 정보를 추가하여 저장하는 행위 인식부;를 더 포함하는, 객체 맥락화 데이터를 활용한 영상 재현 장치.

7

하나 이상의 프로세서와, 상기 프로세서에 의해 실행 가능한 프로그램 명령어 세트를 저장하는 메모리를 포함하는 컴퓨팅 장치에서 수행되는 방법으로,고정된 장소에 설치된 카메라로부터 촬영된 촬영 영상을 수신하는 영상 수신 단계;수신한 촬영 영상의 연속된 프레임에서 배경 이미지를 추출하여 저장하는 배경 이미지 추출 단계;제1 딥러닝 모델을 사용하여 수신한 촬영 영상에 대하여 프레임 별로 복수의 객체를 검출하여 객체의 종류를 분류하고, 객체의 종류와 객체의 위치 정보와 객체의 위치 정보에 기초하여 추출한 객체 이미지를 포함하는 객체 속성 정보를 생성하는 객체 검출 단계;객체가 검출된 프레임 별로 검출된 프레임 정보, 객체의 종류와 수, 각 객체의 객체 속성 정보를 포함하는 프레임 맥락화 데이터를 생성하여 저장하는 프레임 맥락화 단계;프레임 별 검출된 객체들의 리스트와 프레임 별 상기 프레임 맥락화 데이터를 포함하는 객체 맥락화 데이터를 생성하여 저장하는 객체 맥락화 단계;입력된 검색 조건에 기초하여 객체 맥락화 데이터를 대상으로 텍스트 검색 기반으로 상기 검색어에 부합하는 프레임들을 검색하는 영상 검색 단계;배경 이미지와 검색된 프레임에서 검출된 객체 이미지를 결합하여 동영상을 재현하는 영상 재현 단계;포함하는 객체 맥락화 데이터를 활용한 영상 재현 방법.

8

제 7 항에 있어서, 영상 재현 단계는 검색된 프레임에서 검출된 객체의 종류가 미리 설정된 프라이버시 보호 객체이면 객체 이미지를 미리 설정된 대체 이미지로 대체하여 동영상을 재현하는, 객체 맥락화 데이터를 활용한 영상 재현 방법.

9

제 7 항에 있어서, 배경 이미지 추출 단계는 수신한 촬영 영상의 연속된 프레임에서 배경 이미지를 추출하되, 시간대 별로 다른 배경 이미지를 추출하여 저장하고,영상 재현 단계는 검색된 프레임의 프레임 정보에 포함된 촬영 시각에 기초하여 배경 이미지를 선택하는, 객체 맥락화 데이터를 활용한 영상 재현 방법.

10

제 7 항에 있어서, 배경 이미지 추출 단계는 수신한 촬영 영상의 연속된 프레임에서 배경 이미지를 추출하되, 계절 별로 다른 배경 이미지를 추출하여 저장하고,영상 재현 단계는 검색된 프레임의 프레임 정보에 포함된 촬영 시각에 기초하여 배경 이미지를 선택하는, 객체 맥락화 데이터를 활용한 영상 재현 방법.

11

제 7 항에 있어서, 배경 이미지 추출 단계는 수신한 촬영 영상의 연속된 프레임에서 배경 이미지를 추출하되, 날씨 별로 다른 배경 이미지를 추출하여 저장하고,영상 재현 단계는 검색된 프레임 영상에 대하여 해당 프레임이 촬영된 시간의 날씨에 기초하여 배경 이미지를 선택하는, 객체 맥락화 데이터를 활용한 영상 재현 방법.

12

제 7 항에 있어서, 제2 딥러닝 모델을 사용하여 사람이 검출된 연속 프레임에서 사람의 행위를 인식하고, 사람이 검출된 연속 프레임의 프레임 별 객체 속성 정보에 인식된 행위 정보를 추가하여 저장하는 행위 인식 단계;를 더 포함하는, 객체 맥락화 데이터를 활용한 영상 재현 방법.