영상기반 멀티센서 데이터를 이용한 차량의 위치자세 결정 방법 및 장치
Method and Apparatus for Determining Position and Attitude of Vehicle by Image based Multi-sensor Data
특허 요약
본 발명은 차량의 각종 센서와 GPS 모듈 기반의 위치 및 자세 정보를 미리 구축된 지오레퍼런싱된 기준 영상 DB와 차량에 탑재된 카메라로부터 취득된 실시간 영상을 이용하여 보다 정밀하게 조정하여 줌으로써 차량의 내비게이션 단말 등에서의 위치기반 서비스에 효과적으로 활용될 수 있도록 하기 위한 차량의 위치자세 결정 방법 및 장치에 관한 것이다.
청구항
번호청구항
1

GPS 위치 정보와 차량의 속도나 차량의 진행방향을 감지하는 하나 이상의 차량 센서로부터의 자세 정보를 기초로 GPS 기반의 차량의 위치자세를 추정하는 단계; 및 하나 이상의 카메라가 획득한 영상들의 매칭 수행으로 산출한 공액점들과 상기 GPS 기반의 차량의 위치자세, 및 상기 카메라가 획득한 영상들에 대한 기준 지오레퍼런싱 영상들과의 매칭 수행으로 산출한 공액점들과 상기 기준 지오레퍼런싱 영상들의 위치자세를 이용하여, 번들조정 기반의 지오레퍼런싱(georeferencing, 지리참조)에 의해 상기 GPS 기반의 차량의 위치자세를 조정하는 단계를 포함하여 구성되며,상기 GPS 기반의 차량의 위치자세를 조정하는 단계는,차량에 탑재된 상기 하나 이상의 카메라가 획득한 연속된 영상들의 동일한 지상 객체에서 투영된 영상점을 공액점으로써 산출하는 영상매칭 단계를 포함하는 것을 특징으로 하는 차량의 위치자세 결정 방법.

2

제1항에 있어서,상기 GPS 기반의 차량의 위치자세를 추정하는 단계는,상기 GPS 위치 정보와 상기 차량 센서의 자세 정보를 칼만필터에 적용하여 차량의 위치자세를 추정하는 단계를 포함하는 것을 특징으로 하는 차량의 위치자세 결정 방법.

3

제2항에 있어서,상기 GPS 기반의 차량의 위치자세를 추정하는 단계는, 지도 데이터베이스의 지도 정보를 참조하여 상기 칼만필터에 의해 추정된 상기 차량의 위치자세를 도로 상의 위치자세로 보정하는 단계를 포함하는 것을 특징으로 하는 차량의 위치자세 결정 방법.

4

삭제

5

제1항에 있어서,상기 GPS 기반의 차량의 위치자세를 추정하는 단계에서 추정된 상기 차량의 위치자세 정보를 이용하여 상기 공액점을 산출하는 것을 특징으로 하는 차량의 위치자세 결정 방법.

6

제1항에 있어서,상기 GPS 기반의 차량의 위치자세를 조정하는 단계는, 기 구축한 지오레펀싱된 영상 데이터베이스로부터, 상기 GPS 기반의 차량의 위치자세를 추정하는 단계에서 추정된 위치자세 정보를 이용하여 상기 차량에 탑재된 카메라가 영상을 획득할 당시의 위치자세와 유사한 위치자세가 태그된 하나 이상의 기준 지오레퍼런싱된 영상을 검색하는 단계 를 포함하는 것을 특징으로 하는 차량의 위치자세 결정 방법.

7

제6항에 있어서,상기 영상 데이터베이스는, 촬영 수단이 영상을 획득하는 시점에 위치자세정보 획득 수단으로 획득한 위치자세 또는 촬영 수단이 획득한 영상 상에 나타난 지상 객체의 절대 좌표를 이용한 지오레퍼런싱 과정을 통해 생성된 지오레퍼런싱된 영상으로서 해당 영상의 획득 시점에서 촬영 수단의 위치자세가 태깅된 영상들의 데이터베이스인 것을 특징으로 하는 차량의 위치자세 결정 방법.

8

제6항에 있어서,상기 GPS 기반의 차량의 위치자세를 조정하는 단계는, 상기 차량에 탑재된 하나 이상의 카메라가 획득한 영상과 상기 검색 단계에서 검색된 기준 지오레퍼런싱된 영상 간의 동일한 지상 객체에서 투영된 영상점을 공액점으로써 산출하는 영상매칭 단계를 포함하는 것을 특징으로 하는 차량의 위치자세 결정 방법.

9

제1항에 있어서,상기 GPS 기반의 차량의 위치자세를 조정하는 단계는, 상기 번들조정 기반의 지오레퍼런싱의 수행으로 복수 영상의 동일 지상점에서 투영된 각각의 공액점에 대하여 해당 지상점, 해당 영상들을 취득한 상기 카메라의 렌즈의 중심, 해당 공액점을 연결한 직선들이 동일한 지상점에서 교차하도록 하는 상기 GPS 기반의 차량의 위치자세의 조정된 값을 실시간으로 산출하는 단계를 포함하는 것을 특징으로 하는 차량의 위치자세 결정 방법.

10

제1항에 있어서,상기 GPS 기반의 차량의 위치자세를 추정하는 단계는,상기 번들조정 기반의 지오레퍼런싱의 수행으로 산출된 보정된 차량의 위치자세, 상기 GPS 위치 정보와 상기 차량 센서의 자세 정보를 칼만필터에 적용하여 다음 차량의 위치자세가 정밀하게 추정되도록 상기 GPS 기반의 위치자세를 추정하는 단계를 포함하는 것을 특징으로 하는 차량의 위치자세 결정 방법.

11

GPS 위치 정보와 차량의 속도나 차량의 진행방향을 감지하는 하나 이상의 차량 센서로부터의 자세 정보를 기초로 GPS 기반의 차량의 위치자세를 추정하는 GPS 기반 위치자세 결정부; 및하나 이상의 카메라가 획득한 영상들의 매칭 수행으로 산출한 공액점들과 상기 GPS 기반의 차량의 위치자세, 및 상기 카메라가 획득한 영상들에 대한 기준 지오레퍼런싱 영상들과의 매칭 수행으로 산출한 공액점들과 상기 기준 지오레퍼런싱 영상의 위치자세를 이용하여, 번들조정 기반의 지오레퍼런싱(georeferencing, 지리참조) 수행으로 상기 GPS 기반의 차량의 위치자세를 조정하는 영상 기반 위치자세 결정부를 포함하며,상기 영상 기반 위치자세 결정부는,차량에 탑재된 상기 하나 이상의 카메라가 획득한 연속된 영상들의 동일한 지상 객체에서 투영된 영상점을 공액점으로써 산출하는 영상매칭을 수행하는 것을 특징으로 하는 차량의 위치자세 결정 장치.

12

제11항에 있어서,상기 GPS 기반 위치자세 결정부는,상기 GPS 위치 정보와 상기 차량 센서의 자세 정보를 칼만필터에 적용하여 차량의 위치자세를 추정하는 것을 특징으로 하는 차량의 위치자세 결정 장치.

13

제12항에 있어서,상기 GPS 기반 위치자세 결정부는, 지도 데이터베이스의 지도 정보를 참조하여 상기 칼만필터에 의해 추정된 상기 차량의 위치자세를 도로 상의 위치자세로 보정하는 것을 특징으로 하는 차량의 위치자세 결정 장치.

14

삭제

15

제11항에 있어서,상기 영상 기반 위치자세 결정부는,상기 GPS 기반 위치자세 결정부에서 추정된 상기 차량의 위치자세 정보를 이용하여 상기 공액점을 산출하는 것을 특징으로 하는 차량의 위치자세 결정 장치.

16

제11항에 있어서,상기 영상 기반 위치자세 결정부는, 기 구축한 지오레펀싱된 영상 데이터베이스로부터, 상기 GPS 기반 위치자세 결정부에서 추정된 위치자세 정보를 이용하여 상기 차량에 탑재된 카메라가 영상을 획득할 당시의 위치자세와 유사한 위치자세가 태그된 하나 이상의 기준 지오레퍼런싱된 영상을 검색하는 것을 특징으로 하는 차량의 위치자세 결정 장치.

17

제16항에 있어서,상기 영상 데이터베이스는, 촬영 수단이 영상을 획득하는 시점에 위치자세정보 획득 수단으로 획득한 위치자세 또는 촬영 수단이 획득한 영상 상에 나타난 지상 객체의 절대 좌표를 이용한 지오레퍼런싱 과정을 통해 생성된 지오레퍼런싱된 영상으로서 해당 영상의 획득 시점에서 촬영 수단의 위치자세가 태깅된 영상들의 데이터베이스인 것을 특징으로 하는 차량의 위치자세 결정 장치.

18

제16항에 있어서,상기 영상 기반 위치자세 결정부는, 상기 차량에 탑재된 하나 이상의 카메라가 획득한 영상과 상기 검색으로 검색된 기준 지오레퍼런싱된 영상 간의 동일한 지상 객체에서 투영된 영상점을 공액점으로써 산출하는 영상매칭을 수행하는 것을 특징으로 하는 차량의 위치자세 결정 장치.

19

제11항에 있어서,상기 영상 기반 위치자세 결정부는, 상기 번들조정 기반의 지오레퍼런싱의 수행으로 복수 영상의 동일 지상점에서 투영된 각각의 공액점에 대하여 해당 지상점, 해당 영상들을 취득한 상기 카메라의 렌즈의 중심, 해당 공액점을 연결한 직선들이 동일한 지상점에서 교차하도록 하는 상기 GPS 기반의 차량의 위치자세의 조정된 값을 실시간으로 산출하는 것을 특징으로 하는 차량의 위치자세 결정 장치.

20

제11항에 있어서,상기 GPS 기반 위치자세 결정부는,상기 번들조정 기반의 지오레퍼런싱의 수행으로 산출된 보정된 차량의 위치자세, 상기 GPS 위치 정보와 상기 차량 센서의 자세 정보를 칼만필터에 적용하여 다음 차량의 위치자세가 정밀하게 추정되도록 상기 GPS 기반의 위치자세를 추정하는 것을 특징으로 하는 차량의 위치자세 결정 장치.