자체 운동 추정 방법 및 장치
DEVICE AND METHOD TO ESTIMATE EGO MOTION
특허 요약
자체 운동 추정 장치 및 방법이 제공된다. 자체 운동 추정 장치는 입력 이미지의 복수의 영역들로부터 장면 플로우 필드를 산출하고, 장면 플로우에 기초하여 복수의 영역들을 클러스터링하며, 클러스터링된 복수의 영역들에 대한 확률 벡터 맵을 업데이트하고, 업데이트된 확률 벡터 맵에 기초하여 정적 배경을 식별하며, 식별된 정적 배경에 기초하여 자체 운동 정보를 추정할 수 있다.
청구항
번호청구항
16

제1항에 있어서,상기 입력 이미지를 그리드 패턴에 기초하여 상기 복수의 영역들로 분할하는 단계를 더 포함하는 자체 운동 추정 방법.

1

자체 운동 추정 방법에 있어서,복수의 영역들(spaces)로 구분되는 입력 이미지에 대하여, 상기 복수의 영역들의 각각에 대한 장면 플로우를 지시하는 장면 플로우 필드를 생성하는 단계;상기 장면 플로우 필드에 기초하여, 상기 복수의 영역들을 복수의 그룹들로 클러스터링하는 단계;상기 복수의 영역들이 상기 복수의 그룹들로 클러스터링된 결과에 기초하여, 상기 복수의 영역들의 레이블에 대한 확률 벡터 맵을 생성하는 단계; 및상기 생성된 확률 벡터 맵에 기초하여, 장치의 자체 운동 정보를 추정하는 단계를 포함하고,상기 확률 벡터 맵을 생성하는 단계는,이전 프레임으로부터 현재 프레임까지의 각 영역의 이동을 지시하는 변환 벡터 맵에 기초하여, 상기 이전 프레임의 확률 벡터 맵을 보상함으로써 보상된 벡터 맵을 생성하는 단계; 및상기 보상된 벡터 맵 및 상기 복수의 영역들이 클러스터링된 결과에 기초하여, 상기 현재 프레임에 대한 확률 벡터 맵을 산출하는 단계를 포함하는,자체 운동 추정 방법.

2

제1항에 있어서,상기 장면 플로우 필드를 생성하는 단계는,상기 복수의 영역들의 각각에 대하여 2차원 움직임을 지시하는 모션 벡터 및 깊이 방향 움직임을 지시하는 깊이 벡터를 산출하는 단계; 및상기 모션 벡터 및 상기 깊이 벡터에 기초하여 장면 플로우를 산출하는 단계를 포함하는 자체 운동 추정 방법.

3

제1항에 있어서,상기 클러스터링하는 단계는,상기 복수의 영역들 중 유사한 장면 플로우를 나타내는 영역들로 상기 복수의 그룹들의 각 그룹을 형성하는 단계를 포함하는 자체 운동 추정 방법.

4

제3항에 있어서,상기 각 그룹을 형성하는 단계는,각 그룹 내에 속하는 각 영역의 장면 플로우 간 차이가 임계 차이 미만이 되도록, 상기 복수의 영역들을 상기 복수의 그룹들 중 한 그룹으로 결정하는 단계를 포함하는 자체 운동 추정 방법.

5

제1항에 있어서,상기 클러스터링하는 단계는,상기 복수의 영역들 중 미리 정한 개수의 영역들을 무작위로 선택하는 단계;상기 무작위로 선택된 영역들의 각각에 대한 장면 플로우가 서로 유사한 경우에 응답하여, 상기 무작위로 선택된 영역들을 기준 영역으로 지정하는 단계;상기 기준 영역에 기초하여, 상기 복수의 영역들을 복수의 그룹들로 분류하는 단계를 포함하는 자체 운동 추정 방법.

6

제5항에 있어서,상기 클러스터링하는 단계는,상기 무작위로 선택된 영역들의 각각에 대한 장면 플로우가 서로 비유사한 경우에 응답하여, 상기 복수의 영역들 중 미리 정한 개수의 영역들을 다시 무작위로 선택하는 단계를 더 포함하는 자체 운동 추정 방법.

7

제5항에 있어서,상기 복수의 그룹들로 분류하는 단계는,상기 기준 영역의 주변 영역 중 상기 기준 영역의 대표 장면 플로우(representative scene flow)와 유사한 장면 플로우를 가지는 영역을 상기 기준 영역과 동일한 그룹으로 결정하는 단계를 포함하는 자체 운동 추정 방법.

8

제7항에 있어서,상기 기준 영역과 동일한 그룹으로 결정하는 단계는,상기 주변 영역 중 상기 대표 장면 플로우 간의 벡터 차이가 임계 차이 미만인 장면 플로우를 가지는 영역을 상기 기준 영역과 동일한 그룹에 추가하는 단계를 포함하는 자체 운동 추정 방법.

9

제1항에 있어서,상기 클러스터링하는 단계는,상기 복수의 영역들이 클러스터링된 각 그룹에 대하여 레이블을 매칭시키는 단계를 포함하는 자체 운동 추정 방법.

10

제1항에 있어서,상기 자체 운동 정보를 추정하는 단계는,상기 확률 벡터 맵에 기초하여 정적 배경을 식별하는 단계; 및상기 식별된 정적 배경에 기초하여 상기 자체 운동 정보를 산출하는 단계를 포함하는 자체 운동 추정 방법.

11

제10항에 있어서,상기 정적 배경을 식별하는 단계는,상기 확률 벡터 맵으로부터 가장 높은 확률을 지시하는 레이블에 기초하여, 상기 복수의 영역들 중 정적 배경을 식별하는 단계를 포함하는 자체 운동 추정 방법.

12

삭제

13

삭제

14

제1항에 있어서,상기 보상된 벡터 맵을 생성하는 단계는,이전 프레임에 대해 산출된 장면 플로우를 상기 변환 벡터 맵으로 결정하는 단계를 포함하는 자체 운동 추정 방법.

15

제1항에 있어서,상기 입력 이미지로서 채널 이미지 및 깊이 이미지를 획득하는 단계를 더 포함하고,상기 장면 플로우 필드를 생성하는 단계는,3차원 장면 플로우를 지시하는 장면 플로우 필드를 생성하는 단계를 포함하는 자체 운동 추정 방법.

17

제1항에 있어서,상기 입력 이미지에 포함된 복수의 픽셀들 중 하나 이상의 픽셀을 포함하도록 상기 복수의 영역들을 형성하는 단계를 더 포함하는 자체 운동 추정 방법.

18

제1항에 있어서,상기 장치가 정지한 동안 획득되는 초기 이미지에서, 정적인 영역(stationary space)에 대해 정적 배경에 대응하는 레이블을 매칭시키는 단계를 더 포함하는 자체 운동 추정 방법.

19

제1항 내지 제11항 및 제14항 내지 제18항 중 어느 한 항의 방법을 수행하기 위한 명령어를 저장하는 하나 이상의 프로그램을 저장한 컴퓨터 판독 가능 기록매체.

20

자체 운동 추정 장치에 있어서,입력 이미지를 획득하는 이미지 센서; 및상기 입력 이미지를 복수의 영역들로 구분하고, 상기 복수의 영역들의 각각에 대한 장면 플로우를 지시하는 장면 플로우 필드를 생성하며, 상기 장면 플로우 필드에 기초하여, 상기 복수의 영역들을 복수의 그룹들로 클러스터링하고, 상기 복수의 영역들이 상기 복수의 그룹들로 클러스터링된 결과에 기초하여, 상기 복수의 영역들의 레이블에 대한 확률 벡터 맵을 생성하며, 상기 생성된 확률 벡터 맵에 기초하여, 장치의 자체 운동 정보를 추정하는 프로세서를 포함하고,상기 프로세서는,이전 프레임으로부터 현재 프레임까지의 각 영역의 이동을 지시하는 변환 벡터 맵에 기초하여, 상기 이전 프레임의 확률 벡터 맵을 보상함으로써 보상된 벡터 맵을 생성하고,상기 보상된 벡터 맵 및 상기 복수의 영역들이 클러스터링된 결과에 기초하여, 상기 현재 프레임에 대한 확률 벡터 맵을 산출하는,자체 운동 추정 장치.