이동체의 양측에 서로 일정 간격 이격되어 각각 설치되는 한 쌍의 열화상 카메라;상기 한 쌍의 열화상 카메라의 중심으로부터 일정 거리 이격되어 설치되는 관성센서; 및상기 한 쌍의 열화상 카메라 및 상기 관성센서의 센싱 결과를 입력 받고, 상기 한 쌍의 열화상 카메라에 의해 촬영되는 한 쌍의 이미지가 비동기화 상태인 경우 상기 관성센서의 센싱 데이터를 반영하여 상기 이미지 내의 픽셀에 대한 깊이를 추정하는 SLAM(Simultaneous Localization And Mapping) 동작 장치;를 포함하고,상기 SLAM 동작 장치는,상기 한 쌍의 이미지에 대한 동기화 여부를 판단하는 동기화 판단부;상기 동기화 판단부에 의해 상기 한 쌍의 이미지가 동기화 상태인 것으로 판단된 경우, 제1 삼각 측량방식을 사용하여 상기 이미지 내의 픽셀에 대한 깊이를 추정하는 제1 깊이 추정부;상기 동기화 판단부에 의해 상기 한 쌍의 이미지가 비동기화 상태인 것으로 판단된 경우, 제2 삼각 측량방식을 사용하여 상기 이미지 내의 픽셀에 대한 깊이를 추정하는 제2 깊이 추정부;를 포함하며,상기 제2 깊이 추정부는, 상기 한 쌍의 이미지가 비동기화된 시간 동안의 상기 관성센서의 센싱 데이터를 통합하고, 두 열화상 카메라 사이의 변환행렬을 도출하며, 상기 도출된 변환행렬을 기반으로 삼각측량을 수행하여 상기 깊이 값을 추정하며,상기 변환행렬은 상기 한 쌍의 이미지의 동기화 오차 시간 동안의 움직임을 나타내는 것을 특징으로 하는 IMU를 활용한 SLAM 시스템.

삭제

제 1 항에 있어서,상기 동기화 판단부는, 상기 한 쌍의 이미지 간의 시간차가 기설정된 시간차 기준값 이내인 경우에는 상기 한 쌍의 이미지가 동기화 상태인 것으로 판단하고, 상기 시간차가 기설정된 시간차 기준값을 초과하면 상기 한 쌍의 이미지가 비동기화 상태인 것으로 판단하는 것을 특징으로 하는 IMU를 활용한 SLAM 시스템.

삭제

제 1 항에 있어서,상기 제2 깊이 추정부는, 하기의 수식을 이용하여 상기 관성센서의 센싱 데이터를 통합하는 것을 특징으로 하는 IMU를 활용한 SLAM 시스템:여기서, 는 상기 센싱 데이터에 의해 계산되는 위치벡터, 는 상기 센싱 데이터에 계산되는 속도, 는 상기 센싱 데이터에 계산되는 회전행렬, 는 상기 관성센서에 의해 센싱된 가속도, 는 상기 관성센서에 의해 센싱된 각속도, 및 는 상기 관성센서에서 발생하는 바이어스 변수, t는 시간이다.

제 1 항에 있어서,상기 제2 깊이 추정부는, 하기의 수학식에 의해 상기 변환행렬을 도출하는 것을 특징으로 하는 IMU를 활용한 SLAM 시스템:여기서, P 및 P'는 상기 한 쌍의 열화상 카메라에 의해 촬영된 이미지의 투영행렬, 및 는 상기 한 쌍의 열화상 카메라의 외부(Extrinsic) 파라미터가 상기 관성센서에 의해 보정된 결과, 및 는 상기 한 쌍의 열화상 카메라의 초점거리, , , 및 는 상기 한 쌍의 열화상 카메라의 렌즈왜곡계수이다.

제 6 항에 있어서,상기 제2 깊이 추정부는, 상기 한 쌍의 열화상 카메라에 의해 촬영된 이미지의 투영 행렬을 하기의 수학식에 의해 누적하여 교차점의 좌표를 도출하는 것을 특징으로 하는 IMU를 활용한 SLAM 시스템:여기서, (x,y) 및 (x',y')는 상기 교차점에 대한 상기 한 쌍의 열화상 카메라 각각에서의 좌표, p1,p2,p3, p1',p2',p3'는 행렬 P 및 P'의 각 행벡터이다.

이동체의 양측에 서로 일정 간격 이격되어 각각 설치되는 한 쌍의 열화상 카메라, 상기 한 쌍의 열화상 카메라의 중심으로부터 일정 거리 이격되어 설치되는 관성센서가 설치된 IMU를 활용한 SLAM 시스템에 적용 가능한 비동기화 상태의 스테레오 열화상 이미지 깊이 추정 방법에 있어서,상기 한 쌍의 열화상 카메라에서 촬영되는 이미지를 각각 입력받는 단계;상기 관성센서의 센싱 결과를 입력 받는 단계; 및상기 한 쌍의 열화상 카메라에 의해 촬영되는 한 쌍의 이미지가 비동기화 상태인 경우 상기 관성센서의 센싱 데이터를 반영하여 상기 이미지 내의 픽셀에 대한 깊이를 추정하는 단계;를 포함하고,상기 추정하는 단계는,상기 한 쌍의 이미지에 대한 동기화 여부를 판단하는 단계;동기화 판단부에 의해 상기 한 쌍의 이미지가 동기화 상태인 것으로 판단된 경우, 제1 삼각 측량방식을 사용하여 상기 이미지 내의 픽셀에 대한 깊이를 추정하는 단계; 및상기 동기화 판단부에 의해 상기 한 쌍의 이미지가 비동기화 상태인 것으로 판단된 경우, 제2 삼각 측량방식을 사용하여 상기 이미지 내의 픽셀에 대한 깊이를 추정하는 단계;를 포함하며,상기 제2 삼각 측량방식을 사용하여 상기 이미지 내의 픽셀에 대한 깊이를 추정하는 단계는,상기 한 쌍의 이미지가 비동기화된 시간 동안의 상기 관성센서의 센싱 데이터를 통합하는 단계;두 열화상 카메라 사이의 변환행렬을 도출하는 단계; 및상기 도출된 변환행렬을 기반으로 삼각측량을 수행하여 상기 깊이 값을 추정하는 단계;를 포함하며, 상기 변환행렬은 상기 한 쌍의 이미지의 동기화 오차 시간 동안의 움직임을 나타내는 것을 특징으로 하는 비동기화 상태의 스테레오 열화상 이미지 깊이 추정 방법.

삭제

제 8 항에 있어서,상기 동기화 여부를 판단하는 단계는, 상기 한 쌍의 이미지 간의 시간차가 기설정된 시간차 기준값 이내인 경우에는 상기 한 쌍의 이미지가 동기화 상태인 것으로 판단하고, 상기 시간차가 기설정된 시간차 기준값을 초과하면 상기 한 쌍의 이미지가 비동기화 상태인 것으로 판단하는 것을 특징으로 하는 비동기화 상태의 스테레오 열화상 이미지 깊이 추정 방법.

삭제