지상 이동체의 기구학 모델을 활용한 절대 스케일 감지 단안 영상 항법 및 시스템
Scale-aware monocular visual odometry method and system using ground moving object kinematics
특허 요약
지상 이동체의 기구학 모델을 활용한 절대 스케일 감지 단안 영상 항법 및 시스템이 개시된다. 본 발명의 일 실시예에 따른 단안 카메라가 설치된 이동체의 기구학을 활용한 절대 스케일 감지 단안 영상 항법 시스템은, 상기 단안 카메라에 의해 실시간으로 입력되는 연속적인 단안 이미지를 수신하고, 특징점을 추출하여 궤적을 추적하며, 상기 궤적을 이용하여 단안 영상 항법(MVO)를 수행하는 단안 영상 항법 모듈; 단안 영상 항법 정보를 이용하여 카메라-이동체 간 상대 자세를 추정하는 상대 자세 추정 모듈; 및 단안 영상 항법 수행 중 제1 구간에서 미터 단위 크기 정보를 관측하고, 미터 단위 크기 정보가 관측되지 않은 제2 구간에 대해서는 인접한 상기 제1 구간에서 관측된 미터 단위 크기 정보를 이용하여 스케일을 복원하는 스케일 관측 및 복원 모듈을 포함할 수 있다.
청구항
번호청구항
1

단안 카메라가 설치된 이동체의 기구학을 활용한 절대 스케일 감지 단안 영상 항법 시스템으로서, 상기 단안 카메라에 의해 실시간으로 입력되는 연속적인 단안 이미지를 수신하고, 특징점을 추출하여 궤적을 추적하며, 상기 궤적을 이용하여 단안 영상 항법(MVO)를 수행하는 단안 영상 항법 모듈;단안 영상 항법 정보를 이용하여 카메라-이동체 간 상대 자세를 추정하는 상대 자세 추정 모듈; 및단안 영상 항법 수행 중 제1 구간에서 미터 단위 크기 정보를 관측하고, 미터 단위 크기 정보가 관측되지 않은 제2 구간에 대해서는 인접한 상기 제1 구간에서 관측된 미터 단위 크기 정보를 이용하여 스케일을 복원하는 스케일 관측 및 복원 모듈을 포함하는 절대 스케일 감지 단안 영상 항법 시스템.

2

제1항에 있어서, 상기 상대 자세 추정 모듈은 이동체 기구학으로 표현된 상기 단안 카메라의 자세 변화와 상기 단안 영상 항법으로 추정된 상기 단안 카메라의 자세 변화가 같다는 수식 조건을 이용하는 것을 특징으로 하는 절대 스케일 감지 단안 영상 항법 시스템.

3

제2항에 있어서,상기 상대 자세 추정 모듈은, 상기 이동체의 후축 위의 차량 좌표계, 상기 단안 카메라에 대한 카메라 좌표계, 상기 카메라 좌표계와 원점을 공유하되 상기 차량 좌표계와 자세가 같은 보조 좌표계를 설정하고, 상기 단안 카메라가 상기 보조 좌표계 대비 미지의 상대 자세 S를 가지고, 후축으로부터 L만큼 떨어져 있는 것을 고려하며, 상기 이동체가 애커만 조향 기하로 서술되어 상기 단안 카메라가 이 제약조건에 지배되어, 상기 카메라 좌표계의 움직임은 상기 보조 좌표계의 움직임과 S 행렬로 표현되는 특징을 활용하는 것을 특징으로 하는 절대 스케일 감지 단안 영상 항법 시스템.

4

제1항에 있어서,상기 제1 구간은 조향 회전 구간이고, 상기 제2 구간은 직진 구간인 것을 특징으로 하는 절대 스케일 감지 단안 영상 항법 시스템.

5

제4항에 있어서,상기 스케일 관측 및 복원 모듈은, 상기 제1 구간에서 상기 이동체의 조향 회전 운동에 따라 만들어지는 2개의 삼각형을 이용하여 상기 단안 카메라의 중심간 거리를 관측하는 스케일 관측기와;상기 제2 구간에 대해 인접하는 2개의 상기 제1 구간의 절대 스케일을 활용하여 상기 제2 구간의 미관측된 절대 스케일을 복원하는 절대 스케일 복원 모듈을 포함하는 절대 스케일 단안 영상 항법 시스템.

6

제5항에 있어서,상기 단안 카메라의 중심간 거리와 절대 스케일은 상기 단안 카메라와 상기 후축 사이의 거리에 비례하는 것을 특징으로 하는 절대 스케일 감지 단안 영상 항법 시스템.

7

제5항에 있어서,상기 절대 스케일 복원 모듈은 3차원 점이 이전 조향 회전 구간, 직진 구간, 현재 조향 회전 구간에 걸쳐서 공통으로 관측되는 상황에서 상기 단안 카메라의 중심간 거기를 이용하여 상기 이전 조향 회전 구간과 상기 이후 조향 회전 구간 내의 단안 카메라 사이의 거리들에 대한 제약을 걸어 등식을 고려한 비선형 프로그래밍 문제로 만들어 SQP 방법으로 해결하는 것을 특징으로 하는 절대 스케일 감지 단안 영상 항법 시스템.

8

제5항에 있어서,상기 절대 스케일 복원 모듈은 매번 조향 회전 구간이 관측될 때마다 동작하는 것을 특징으로 하는 절대 스케일 감지 단안 영상 항법 시스템.

9

단안 카메라가 설치된 이동체의 기구학을 활용한 절대 스케일 감지 단안 영상 항법 시스템에서 수행되는 절대 스케일 감지 단안 영상 항법으로서, 단안 영상 항법 모듈에서 상기 단안 카메라에 의해 실시간으로 입력되는 연속적인 단안 이미지를 수신하는 단계;상기 연속적인 단안 이미지에서 특징점을 추출하여 궤적을 추적하는 단계;상기 궤적을 이용하여 단안 영상 항법(MVO)를 수행하는 단계;상대 자세 추정 모듈에서 단안 영상 항법 정보를 이용하여 카메라-이동체 간 상대 자세를 추정하는 단계;단안 영상 항법 수행 중 스케일 관측 및 복원 모듈에서 제1 구간에서 미터 단위 크기 정보를 관측하는 단계; 및미터 단위 크기 정보가 관측되지 않은 제2 구간에 대해서는 인접한 상기 제1 구간에서 관측된 미터 단위 크기 정보를 이용하여 스케일을 복원하는 단계를 포함하는 절대 스케일 감지 단안 영상 항법 방법.

10

제9항에 있어서, 상기 상대 자세 추정 단계에서 이동체 기구학으로 표현된 상기 단안 카메라의 자세 변화와 상기 단안 영상 항법으로 추정된 상기 단안 카메라의 자세 변화가 같다는 수식 조건을 이용하는 것을 특징으로 하는 절대 스케일 감지 단안 영상 항법 방법.

11

제10항에 있어서,상기 상대 자세 추정 단계는, 상기 이동체의 후축 위의 차량 좌표계, 상기 단안 카메라에 대한 카메라 좌표계, 상기 카메라 좌표계와 원점을 공유하되 상기 차량 좌표계와 자세가 같은 보조 좌표계를 설정하고, 상기 단안 카메라가 상기 보조 좌표계 대비 미지의 상대 자세 S를 가지고, 후축으로부터 L만큼 떨어져 있는 것을 고려하며, 상기 이동체가 애커만 조향 기하로 서술되어 상기 단안 카메라가 이 제약조건에 지배되어, 상기 카메라 좌표계의 움직임은 상기 보조 좌표계의 움직임과 S 행렬로 표현되는 특징을 활용하는 것을 특징으로 하는 절대 스케일 감지 단안 영상 항법 방법.

12

제9항에 있어서,상기 제1 구간은 조향 회전 구간이고, 상기 제2 구간은 직진 구간인 것을 특징으로 하는 절대 스케일 감지 단안 영상 항법 방법.

13

제12항에 있어서,상기 관측 단계에서는 상기 제1 구간에서 상기 이동체의 조향 회전 운동에 따라 만들어지는 2개의 삼각형을 이용하여 상기 단안 카메라의 중심간 거리를 관측하며,상기 복원 단계에서는 상기 제2 구간에 대해 인접하는 2개의 상기 제1 구간의 절대 스케일을 활용하여 상기 제2 구간의 미관측된 절대 스케일을 복원하는 것을 특징으로 하는 절대 스케일 단안 영상 항법 방법.

14

제13항에 있어서,상기 복원 단계는 매번 조향 회전 구간이 관측될 때마다 동작하는 것을 특징으로 하는 절대 스케일 감지 단안 영상 항법 방법.