객체의 미래 움직임 예측을 통한 동영상에서의 객체 추적을 위한 방법 및 시스템
METHOD AND SYSTEM FOR TRACKING OBJECT IN VIDEO THROUGH PREDICTION OF FUTURE MOTION OF OBJECT
특허 요약
객체의 미래 움직임 예측을 통한 동영상에서의 객체 추적을 위한 방법 및 시스템이 개시된다. 객체 추적 방법은, 동영상의 일 프레임에 해당되는 정지 영상에서 상기 정지 영상에 포함된 객체와 상기 객체의 주변 정보의 특징(feature)을 추출하는 단계; 상기 추출된 특징으로부터 상기 객체의 미래 움직임(future motion)을 예측하는 단계; 및 상기 미래 움직임의 예측 결과를 기초로 다음 프레임에서의 탐색 영역을 생성하여 상기 객체의 트래킹을 수행하는 단계를 포함한다.
청구항
번호청구항
1

컴퓨터 시스템에서 수행되는 객체 추적 방법에 있어서,동영상의 일 프레임에 해당되는 정지 영상에서 상기 정지 영상에 포함된 객체와 상기 객체의 주변 정보의 특징(feature)을 추출하는 단계;상기 추출된 특징으로부터 상기 객체의 미래 움직임(future motion)을 예측하는 단계; 및상기 미래 움직임의 예측 결과를 기초로 다음 프레임에서의 탐색 영역을 생성하여 상기 객체의 트래킹을 수행하는 단계를 포함하고,상기 추출하는 단계는,상기 정지 영상에서 객체 영역에 대한 객체 피처, 객체를 포함하는 주변 영역에 대한 로컬 피처, 및 영상 전체 영역에 대한 글로벌 피처를 추출하는 것을 특징으로 하는 객체 추적 방법.

2

제1항에 있어서,상기 예측하는 단계는,상기 객체의 방향(direction), 속도(velocity), 및 행동(action) 중 적어도 하나를 각 클래스로 한 인스턴스 레벨의 미래 움직임을 예측하고,상기 수행하는 단계는,상기 객체의 미래 움직임으로 예측된 방향, 속도, 행동 중 적어도 하나에 대응하여 상기 다음 프레임에서 이동 확률이 높은 지역을 우선적으로 탐색함으로써 상기 객체의 트래킹을 수행하는 것을 특징으로 하는 객체 추적 방법.

3

제1항에 있어서,상기 수행하는 단계는,상기 객체의 미래 움직임으로 예측된 속도에 따라 상기 탐색 영역을 줄이는 단계를 포함하는 객체 추적 방법.

4

제1항에 있어서,상기 수행하는 단계는,상기 객체의 미래 움직임으로 예측된 방향에 대응되는 부채꼴 모양의 탐색 영역을 결정하는 단계를 포함하는 객체 추적 방법.

5

제1항에 있어서,상기 수행하는 단계는,객체 주변의 배경 이동을 보정한 후 상기 객체의 트래킹을 수행하는 것을 특징으로 하는 객체 추적 방법.

6

제1항에 있어서,상기 예측하는 단계는,상기 정지 영상에 포함된 객체 각각의 미래 움직임으로 예측된 방향을 클러스터링하여 각 클러스터의 그룹 방향을 예측하는 단계를 포함하는 객체 추적 방법.

7

제1항에 있어서,상기 추출하는 단계는,학습 이미지에 포함된 객체와 객체의 주변 정보를 통합하여 학습한 학습 모델을 통해 상기 특징을 추출하는 것을 특징으로 하는 객체 추적 방법.

8

제1항에 있어서,상기 추출하는 단계는,객체 인스턴스에 대해 정답 데이터로서 미래 움직임을 나타내는 방향, 속도, 및 행동 중 적어도 하나의 속성이 할당된 이미지들을 학습한 학습 모델을 통해 상기 특징을 추출하는 것을 특징으로 하는 객체 추적 방법.

9

제1항에 있어서,상기 추출하는 단계는,학습 모델을 구성하는 복수 개의 RoI(region of interest) 풀링 레이어(pooling layer)를 통해 상기 객체 피처, 상기 로컬 피처, 및 상기 글로벌 피처를 추출하는 것을 특징으로 하는 객체 추적 방법.

10

제9항에 있어서,상기 예측하는 단계는,상기 학습 모델을 구성하는 완전 연결 레이어(fully connected layer)와 소프트맥스 레이어(softmax layer)를 통해 상기 RoI 풀링 레이어의 출력을 받아 상기 객체의 미래 움직임을 나타내는 방향, 속도, 행동 중 적어도 하나를 예측하는 것을 특징으로 하는 객체 추적 방법.

11

제1항 내지 제10항 중 어느 한 항의 객체 추적 방법을 컴퓨터에 실행시키기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록매체.

12

컴퓨터 시스템에 있어서,컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고,상기 적어도 하나의 프로세서는,동영상의 일 프레임에 해당되는 정지 영상에서 상기 정지 영상에 포함된 객체와 상기 객체의 주변 정보의 특징을 추출하는 특징 추출부;상기 추출된 특징으로부터 상기 객체의 미래 움직임을 예측하는 움직임 예측부; 및상기 미래 움직임의 예측 결과를 기초로 다음 프레임에서의 탐색 영역을 생성하여 상기 객체의 트래킹을 수행하는 객체 트래킹부를 포함하고,상기 특징 추출부는,상기 정지 영상에서 객체 영역에 대한 객체 피처, 객체를 포함하는 주변 영역에 대한 로컬 피처, 및 영상 전체 영역에 대한 글로벌 피처를 추출하는 것을 특징으로 하는 컴퓨터 시스템.