악조건에 강인한 멀티 카메라 기반 전방향 비주얼 오도메트리를 위한 방법 및 장치
Device and Method for Omni-directional Visual Odometry based on Multicamera Robust to Challenging Conditions
특허 요약
악조건에 강인한 멀티 카메라 기반 전방향 비주얼 오도메트리 방법 및 장치를 개시한다. 본 발명의 일 측면에 의하면, 복수의 카메라들에 의해 수집된 이전 이미지들 및 현재 이미지들에 대해 특징점들의 검출 및 추적을 수행하는 단계; 각 현재 이미지 내에서 추적된 특징점들에 대한 제1 영역들과 각 이전 이미지 내에서 대응되는 제2 영역들 간 유사도에 기초하여 추적된 특징점들 중 구 좌표계에 투영될 특징점들을 선별하는 단계; 및 선별된 특징점들과 이전 이미지들 내에서 검출된 특징점들이 각각 구 좌표계에 투영된 것인 제1 구면점들 및 제2 구면점들 간 기하학적 관계에 기초하여 비주얼 오도메트리 장치의 포즈를 추정하는 단계를 포함하는 전방향 비주얼 오도메트리 방법 및 장치를 제공한다.
청구항
번호청구항
8

제7항에 있어서,상기 제1 구면점들과 상기 제2 구면점들 간 구면점 쌍들에 따라 삼각측량된(triangulated) 3차원 물체 위치들의 개수에 기초하여 상기 복수의 카메라들 중에서 적어도 하나의 참조 카메라를 선택하고, 상기 참조 카메라에 연관된 참조 구면점들 및 상기 참조 구면점들로부터 삼각측량된 참조 위치들을 이용하여 상기 포즈를 최적화하는 포즈 최적화부를 더 포함하는 비주얼 오도메트리 장치.

1

전방향 비주얼 오도메트리 방법에 있어서,복수의 카메라들에 의해 수집된 이전 이미지들 및 현재 이미지들에 대해 특징점들의 검출 및 추적을 수행하는 단계;각 현재 이미지 내에서 추적된 특징점들에 대한 제1 영역들과 각 이전 이미지 내에서 대응되는 제2 영역들 간 유사도에 기초하여 상기 추적된 특징점들 중 구 좌표계에 투영될 특징점들을 선별하는 단계; 및상기 선별된 특징점들과 상기 이전 이미지들 내에서 검출된 특징점들이 각각 상기 구 좌표계에 투영된 것인 제1 구면점들 및 제2 구면점들 간 기하학적 관계에 기초하여 비주얼 오도메트리 장치의 포즈를 추정하는 단계를 포함하는 비주얼 오도메트리 방법.

2

제1항에 있어서,상기 제1 구면점들과 상기 제2 구면점들 간 구면점 쌍들에 따라 삼각측량된(triangulated) 3차원 물체 위치들의 개수에 기초하여 상기 복수의 카메라들 중에서 적어도 하나의 참조 카메라를 선택하는 단계; 및상기 참조 카메라에 연관된 참조 구면점들 및 상기 참조 구면점들로부터 삼각측량된 참조 위치들을 이용하여 상기 포즈를 최적화하는 단계를 더 포함하는 비주얼 오도메트리 방법.

3

제2항에 있어서,상기 포즈를 최적화하는 단계는,상기 참조 카메라의 참조 구면점 쌍들에 따라 삼각측량된 상기 참조 위치들과 상기 참조 카메라의 상기 참조 구면점들 간 차이가 최소화되도록 상기 포즈를 조정하는 단계를 포함하는 비주얼 오도메트리 방법.

4

제1항에 있어서,상기 검출 및 추적을 수행하는 단계는,각 이전 이미지 내에서 특징점들을 검출하는 단계; 및각 현재 이미지에 대해, 상기 검출된 특징점들에 대한 제1 영역들로부터의 세기(intensity) 차이의 합이 최소화되는 제2 영역들 내에서 상기 검출된 특징점들에 대응되는 특징점들을 추적하는 단계를 포함하는 비주얼 오도메트리 방법.

5

제4항에 있어서,상기 투영될 특징점들을 선별하는 단계는,상기 추적된 특징점들 중에서 기 설정된 제1 유사기준보다 높은 유사도를 갖는 제2 영역 내 특징점을 선별하는 단계; 및기 설정된 제2 유사기준보다 낮은 유사도를 갖는 제2 영역 내 특징점을 제거하는 단계를 포함하는 비주얼 오도메트리 방법.

6

제5항에 있어서,상기 투영될 특징점들을 선별하는 단계는,선별된 특징점들의 수가 기 설정된 기준개수보다 적은 경우, 상기 추적된 특징점들 중에서 상기 제1 유사기준과 상기 제2 유사기준 사이 유사도를 갖는 제2 영역 내의 특징점을 추가적으로 선별하는 단계를 포함하는 비주얼 오도메트리 방법.

7

전방향 카메라들 기반 비주얼 오도메트리 장치에 있어서,복수의 카메라들에 의해 수집된 이전 이미지들 및 현재 이미지들에 대해 특징점들의 검출 및 추적을 수행하는 특징점 추적부;각 현재 이미지 내에서 추적된 특징점들에 대한 제1 영역들과 각 이전 이미지 내에서 대응되는 제2 영역들 간 유사도에 기초하여 상기 추적된 특징점들 중 구 좌표계에 투영될 특징점들을 선별하는 특징점 선별부; 및상기 선별된 특징점들과 상기 이전 이미지들 내에서 검출된 특징점들이 각각 상기 구 좌표계에 투영된 것인 제1 구면점들 및 제2 구면점들 간 기하학적 관계에 기초하여 비주얼 오도메트리 장치의 포즈를 추정하는 포즈 추정부를 포함하는 비주얼 오도메트리 장치.

9

제8항에 있어서,상기 포즈 최적화부는,상기 참조 카메라의 특징점 쌍들에 따라 삼각측량된 상기 참조 위치들과 상기 참조 카메라의 상기 참조 특징점들 간 차이가 최소화되도록 상기 포즈를 조정하는 것인 비주얼 오도메트리 장치.

10

제7항에 있어서,상기 특징점 추적부는,각 이전 이미지 내에서 특징점들을 검출하고, 각 현재 이미지에 대해, 상기 검출된 특징점들에 대한 제1 영역들로부터의 세기(intensity) 차이의 합이 최소화되는 제2 영역들 내에서 상기 검출된 특징점들에 대응되는 특징점들을 추적하는 것인 비주얼 오도메트리 장치.

11

제10항에 있어서,상기 특징점 선별부는,상기 추적된 특징점들 중에서 기 설정된 제1 유사기준보다 높은 유사도를 갖는 제2 영역 내 특징점을 선별하고, 기 설정된 제2 유사기준보다 낮은 유사도를 갖는 제2 영역 내 특징점을 제거하는 것인 비주얼 오도메트리 장치.

12

제11항에 있어서,상기 특징점 선별부는,선별된 특징점들의 수가 기 설정된 기준개수보다 적은 경우, 상기 추적된 특징점들 중에서 상기 제1 유사기준과 상기 제2 유사기준 사이 유사도를 갖는 제2 영역 내의 특징점을 추가적으로 선별하는 것인 비주얼 오도메트리 장치.