비전 센서와 관성 센서를 포함하는 카메라 시스템의 동적 환경에 강인한 자기 위치 추정 장치에서, 이동창 내에서 정규화 계수(regularization factor) 및 가중치 모멘텀 계수(weight momentum factor)를 활용하여 상기 관성 센서의 IMU 데이터와 대비되는 동적 특징점을 제거하는 동시에 위치 인식을 수행하는 국소 최적화부; 및 (i) 상기 국소 최적화부에 의해 동적 특징점이 제거된 특징점들 중 공유하는 특징점의 개수를 이용하여 같은 장면을 보는 키프레임을 그룹화하고, (ii) 그룹간의 특징점 매칭을 수행하고 그룹 내부 키프레임에서 나온 매칭들 중 유사한 매칭 결과끼리 클러스터링을 수행하고, (iii) 최적화를 통해 매칭 결과 클러스터 중 기존 정보를 가장 잘 반영하는 클러스터를 선택하는 동시에 전역 위치 인식 정보를 최적화하는 전역 최적화부를 포함하는 것을 특징으로 하는 카메라 시스템의 동적 환경에 강인한 자기 위치 추정 장치.

제1항에 있어서, 상기 비전 센서의 이미지와 상기 관성 센서의 관성 데이터를 처리하여 상기 국소 최적화부에 제공하는 센서 처리부를 더 포함하는 것을 특징으로 하는 카메라 시스템의 동적 환경에 강인한 자기 위치 추정 장치.

제17항에 있어서, 모노 이미지 또는 스테레오 이미지에서 특징점 추출을 진행하고, IMU 데이터를 사전 통합(pre-integration) 처리하여 단계 (i)로 피드백하는 단계를 더 포함하는 것을 특징으로 하는 카메라 시스템의 동적 환경에 강인한 자기 위치 추정 방법.

제2항에 있어서, 상기 센서 처리부는, 상기 모노 이미지 또는 상기 스테레오 이미지를 지속적으로 촬영하는 모노/스테레오 카메라; 상기 모노/스테레오 카메라에서 촬영된 모노 이미지 또는 스테레오 이미지에서 특징점들을 추적하는 특징점 추적 모듈; 카메라 시스템의 이동에 따라 가속도 및 각속도를 출력하는 IMU 모듈; 및 상기 IMU 모듈에서 제공되는 가속도 및 각속도를 위치 및 속도로 변환시키는 사전 통합 모듈을 포함하는 것을 특징으로 하는 카메라 시스템의 동적 환경에 강인한 자기 위치 추정 장치.

제3항에 있어서, 추적된 특징점의 이전 가중치는 상기 가중치 모멘텀 계수에 사용되고, 현재 이동창에 있는 모든 특징점의 가중치는 상기 정규화 계수에 사용되는 것을 특징으로 하는 카메라 시스템의 동적 환경에 강인한 자기 위치 추정 장치.

제1항에 있어서, 상기 국소 최적화부는, 동적 물체에서 유래한 특징점의 영향을 최소화하기 위해 구성된 강인한 번들 조정 모듈을 포함하는 것을 특징으로 하는 카메라 시스템의 동적 환경에 강인한 자기 위치 추정 장치.

제5항에 있어서, 상기 강인한 번들 조정 모듈은, (여기서, 는 주변화(marginalization)에 대한 잔차를 나타내고, 는 주변화의 측정 추정 매트릭스를 나타내고, 는 현재 위치를 나타내고, 는 단순화된 로서 IMU에 대한 잔차를 나타내고, (: j번째 가중치, : 단순화된 로서 시각적 재투영 측정(visual reprojection measurements)에 대한 잔차)는 수정된 손실 항을 나타낸다)의 수식으로 표현되는 것을 특징으로 하는 카메라 시스템의 동적 환경에 강인한 자기 위치 추정 장치.

제6항에 있어서, 상기 수정된 손실 항은, (여기서, 는 각 특징점 fj에 해당하는 가중치를 나타내고, 는 단순화를 위해 을 나타내고, 는 번들 조정(BA)에서 가중치 모멘텀 계수의 영향을 조정하기 위한 상수 매개변수를 나타내고, 는 가중치 의 정규화 계수(regularization factor)를 나타내고, 는 가중치 모멘텀 계수를 나타냄)의 수식으로 표현되는 것을 특징으로 하는 카메라 시스템의 동적 환경에 강인한 자기 위치 추정 장치.

제5항에 있어서, 상기 강인한 번들 조정 모듈은, 상기 정규화 계수와 상기 가중치 모멘텀 계수를 사용하여 번들 조정 동작 중 각 특징점의 비중을 결정하는 것을 특징으로 하는 카메라 시스템의 동적 환경에 강인한 자기 위치 추정 장치.

제5항에 있어서, 상기 강인한 번들 조정 모듈은, 상기 가중치 모멘텀 계수를 활용하여 특징점이 가졌던 이전 가중치의 항상성을 유지하는 것을 특징으로 하는 카메라 시스템의 동적 환경에 강인한 자기 위치 추정 장치.

제5항에 있어서, 상기 강인한 번들 조정 모듈은, 이전 가중치와 현재 가중치의 차이가 커질수록 패널티를 부여하여, 이전 가중치에서 크게 벗어나지 않도록 최적화 방향을 결정하는 것을 특징으로 하는 카메라 시스템의 동적 환경에 강인한 자기 위치 추정 장치.

제5항에 있어서, 상기 강인한 번들 조정 모듈은, 특징점이 과거에서 최적화된 횟수가 많을수록 이전 가중치에 더 많이 의존하도록 하여 관성 센서의 오류값에 대응할 수 있도록 한 것을 특징으로 하는 카메라 시스템의 동적 환경에 강인한 자기 위치 추정 장치.

제5항에 있어서, 상기 강인한 번들 조정 모듈은, 상기 정규화 계수를 통해 특징점이 관성 센서값과 얼마나 다른 지를 판단하여 동적 물체에서 유래한 특징짐을 제거하는 것을 특징으로 하는 카메라 시스템의 동적 환경에 강인한 자기 위치 추정 장치.

제1항에 있어서, 상기 전역 최적화부는, 정적 특징점을 갖는 키프레임을 그룹핑하여 키프레임 그룹을 출력하는 키프레임 그룹핑 모듈; 매칭된 쌍을 출력하는 DBoW2 모듈; 추정된 그룹의 위치에 따라 특징점 관측 결과를 클러스터링하여 가중치가 높은 가설만을 출력하는 다중 가설 클러스터링 모듈; 및 가중치가 높은 가설을 제공받아 최적화 처리하여 참 양성 가설(true positive hypothesis)을 출력하는 선택적 최적화 모듈을 포함하는 것을 특징으로 하는 카메라 시스템의 동적 환경에 강인한 자기 위치 추정 장치.

제13항에 있어서, 상기 키프레임 그룹핑 모듈은, 공유하는 특징점의 개수를 이용하여 같은 장면을 보는 키프레임을 그룹화하는 것을 특징으로 하는 카메라 시스템의 동적 환경에 강인한 자기 위치 추정 장치.

제13항에 있어서, 상기 다중 가설 클러스터링 모듈은, 그룹간의 특징점 매칭을 수행하고 그룹 내부 키프레임에서 나온 매칭들 중 유사한 매칭 결과끼리 클러스터링을 수행하는 것을 특징으로 하는 카메라 시스템의 동적 환경에 강인한 자기 위치 추정 장치.

제13항에 있어서, 상기 선택적 최적화 모듈은, 최적화를 통해 매칭 결과 클러스터 중 기존 정보를 가장 잘 반영하는 클러스터를 선택하는 동시에 전역 위치 인식 정보를 최적화하는 것을 특징으로 하는 카메라 시스템의 동적 환경에 강인한 자기 위치 추정 장치.

비전 센서와 관성 센서를 포함하는 카메라 시스템의 동적 환경에 강인한 자기 위치 추정 방법에서, (i) 이동창 내에서 정규화 계수(regulation factor) 및 가중치 모멘텀 계수(weight momentum factor)를 활용하여 IMU 데이터와 대비되는 동적 특징점을 제거하는 동시에 위치 인식을 수행하는 단계; (ii) 공유하는 특징점의 개수를 이용하여 같은 장면을 보는 키프레임을 그룹화하는 단계; (iii) 그룹간의 특징점 매칭을 수행하고 그룹 내부 키프레임에서 나온 매칭들 중 유사한 매칭 결과끼리 클러스터링을 수행하는 단계; 및 (iv) 최적화를 통해 매칭 결과 클러스터 중 기존 정보를 가장 잘 반영하는 클러스터를 선택하는 동시에 전역 위치 인식 정보를 최적화하는 단계를 포함하는 것을 특징으로 하는 카메라 시스템의 동적 환경에 강인한 자기 위치 추정 방법.