동적 객체 검출 장치 및 방법
Apparatus and Method for Detecting Moving Object
특허 요약
동적 객체 검출 장치 및 방법이 개시된다. 개시된 장치는, 제1 프레임 영상 및 제2 프레임 영상의 스테레오 영상을 획득하는 영상 획득부; 제1 프레임 및 제2 프레임 구간에서의 카메라 움직임을 검출하는 카메라 움직임 검출부; 상기 제1 프레임 영상의 스테레오 영상을 이용하여 상기 제1 프레임 영상의 픽셀별 깊이를 획득하는 깊이 정보 연산부; 상기 카메라 움직임 및 상기 픽셀별 깊이에 기초하여 상기 제1 프레임 영상을 변환한 변환 영상을 생성하는 변환 영상 생성부; 상기 제2 프레임 영상 및 상기 변환 영상을 이용하여 광학 플로우 영상을 생성하는 광학 플로우 영상 생성부; 및 상기 생성된 광학 플로우 영상을 이용하여 동적 객체를 검출하는 동적 객체 검출부를 포함하되, 상기 변환 영상은 상기 카메라 움직임을 상기 제1 프레임 영상에 반영하여 변환한 영상이다. 개시된 장치 및 방법에 의하면, 움직이는 상태에서 포착되는 영상에서 동적 객체를 효과적으로 검출할 수 있는 장점이 있다.
청구항
번호청구항
1

제1 프레임 영상 및 제2 프레임 영상의 스테레오 영상을 획득하는 영상 획득부;제1 프레임 및 제2 프레임 구간에서의 카메라 움직임을 검출하는 카메라 움직임 검출부;상기 제1 프레임 영상의 스테레오 영상을 이용하여 상기 제1 프레임 영상의 픽셀별 깊이를 획득하는 깊이 정보 연산부;상기 카메라 움직임 및 상기 픽셀별 깊이에 기초하여 상기 제1 프레임 영상을 변환한 변환 영상을 생성하는 변환 영상 생성부;상기 제2 프레임 영상 및 상기 변환 영상을 이용하여 광학 플로우 영상을 생성하는 광학 플로우 영상 생성부; 및상기 생성된 광학 플로우 영상을 이용하여 동적 객체를 검출하는 동적 객체 검출부를 포함하되,상기 카메라 움직임 검출부는 상기 카메라의 회전 움직임 및 직선 움직임을 독립적으로 검출하며,상기 변환 영상은 상기 카메라 움직임을 상기 제1 프레임 영상에 반영하여 변환한 영상이고,상기 변환 영상 생성부는 상기 회전 움직임 및 상기 직선 움직임을 독립적으로 적용하여 변환 영상을 생성하고,상기 변환 영상 생성부는 상기 회전 움직임에 기초하여 상기 제1 프레임 영상을 다음의 수학식과 같이 변환하는 것을 특징으로 하는 동적 객체 검출 장치. 위 수학식에서, ru는 제1 프레임 영상 픽셀 좌표 u에 대한 회전 움직임을 의미하고, rv는 제1 프레임 영상 픽셀 좌표 v에 대한 회전 움직임을 의미하며, yaw, pitch, roll은 검출된 회전 움직임 성분을 의미하고, 는 제1 프레임 영상의 수직축과 좌표(u.v)가 이루는 각도를 의미하고, FoV는 시야각을 의미하며, d는 각 픽셀에 대해 획득된 깊이 정보를 의미하고, s는 소실점에서 (u.v)까지의 거리를 의미하며, height는 제1 프레임 영상의 수직축 픽셀 수를 의미하고, width는 제1 프레임 영상의 수평축 픽셀 수를 의미함.

2

삭제

3

삭제

4

삭제

5

제1항에 있어서,상기 변환 영상 생성부는 상기 직선 움직임에 기초하여 상기 제1 프레임 영상을 다음의 수학식과 같이 변환하는 것을 특징으로 하는 동적 객체 검출 장치. 위 수학식에서, tu 및 tv는 제1 프레임 영상 좌표 (u,v)의 u축 및 v축으로의 변환을 의미하고, d는 각 픽셀에 대해 획득된 깊이 정보이고, 는 제1 프레임 영상의 수직축과 좌표(u.v)가 이루는 각도를 의미하며, height는 제1 프레임 영상의 수직축 픽셀 수를 의미하고, width는 제1 프레임 영상의 수평축 픽셀 수를 의미함.

6

제1항에 있어서,상기 광학 플로우 영상 생성부는 상기 변환 영상 및 상기 제2 프레임 영상의 차영상을 이용하여 광학 플로우 영상을 생성하는 것을 특징으로 하는 동적 객체 검출 장치.

7

삭제

8

제1항에 있어서,상기 생성된 광학 플로우 영상에 대해 침식 필터 및 확장 필터를 적용하여 후처리를 수행하는 후처리부를 더 포함하는 것을 특징으로 하는 동적 객체 검출 장치.

9

삭제

10

삭제

11

제1 프레임 영상 및 제2 프레임 영상의 스테레오 영상을 획득하는 단계(a);제1 프레임 및 제2 프레임 구간에서의 카메라 움직임을 검출하는 단계(b);상기 제1 프레임 영상의 스테레오 영상을 이용하여 상기 제1 프레임 영상의 픽셀별 깊이를 획득하는 단계(c);상기 카메라 움직임 및 상기 픽셀별 깊이에 기초하여 상기 제1 프레임 영상을 변환한 변환 영상을 생성하는 단계(d);상기 제2 프레임 영상 및 상기 변환 영상을 이용하여 광학 플로우 영상을 생성하는 단계(e); 및상기 생성된 광학 플로우 영상을 이용하여 동적 객체를 검출하는 단계(f)를 포함하되,상기 단계(b)는 상기 카메라의 회전 움직임 및 직선 움직임을 독립적으로 검출하며,상기 변환 영상은 상기 카메라 움직임을 상기 제1 프레임 영상에 반영하여 변환한 영상이고,상기 단계(d)는 상기 회전 움직임 및 상기 직선 움직임을 독립적으로 적용하여 변환 영상을 생성하며,상기 단계(d)는 상기 회전 움직임에 기초하여 상기 제1 프레임 영상을 다음의 수학식과 같이 변환하는 것을 특징으로 하는 동적 객체 검출 방법. 위 수학식에서, ru는 제1 프레임 영상 픽셀 좌표 u에 대한 회전 움직임을 의미하고, rv는 제1 프레임 영상 픽셀 좌표 v에 대한 회전 움직임을 의미하며, yaw, pitch, roll은 검출된 회전 움직임 성분을 의미하고, 는 제1 프레임 영상의 수직축과 좌표(u.v)가 이루는 각도를 의미하고, FoV는 시야각을 의미하며, d는 각 픽셀에 대해 획득된 깊이 정보를 의미하고, s는 소실점에서 (u.v)까지의 거리를 의미하며, height는 제1 프레임 영상의 수직축 픽셀 수를 의미하고, width는 제1 프레임 영상의 수평축 픽셀 수를 의미함.

12

삭제

13

삭제

14

삭제

15

제11항에 있어서,상기 단계(d)는 상기 직선 움직임에 기초하여 상기 제1 프레임 영상을 다음의 수학식과 같이 변환하는 것을 특징으로 하는 동적 객체 검출 방법. 위 수학식에서, tu 및 tv는 제1 프레임 영상 좌표 (u,v)의 u축 및 v축으로의 변환을 의미하고, d는 각 픽셀에 대해 획득된 깊이 정보이고, 는 제1 프레임 영상의 수직축과 좌표(u.v)가 이루는 각도를 의미하며, height는 제1 프레임 영상의 수직축 픽셀 수를 의미하고, width는 제1 프레임 영상의 수평축 픽셀 수를 의미함.

16

제11항에 있어서,상기 단계(e)는 상기 변환 영상 및 상기 제2 프레임 영상의 차영상을 이용하여 광학 플로우 영상을 생성하는 것을 특징으로 하는 동적 객체 검출 방법.

17

삭제

18

제11항에 있어서,상기 생성된 광학 플로우 영상에 대해 침식 필터 및 확장 필터를 적용하여 후처리를 수행하는 단계를 더 포함하는 것을 특징으로 하는 동적 객체 검출 방법.