제 1 항에 있어서, 센서 데이터 연관 처리부는,카메라의 이미지 데이터에서 객체 식별을 위해 딥러닝 알고리즘을 이용하여 바운딩 박스(bounding box) 생성을 하는 객체 식별부와,LiDAR의 포인트가 바운딩 박스의 왼쪽 모서리 상단 픽셀 좌표, 오른쪽 모서리 하단 픽셀 좌표 범위 내에 존재하는지 확인하는 라이다 포인트 검증부와,식별된 객체가 아닌 곳에 투영된 LiDAR의 포인트는 모두 제거하여 바운딩 박스로 인식된 객체 이미지에만 LiDAR 포인트를 투영하는 라이다 데이터 투영부와, 바운딩 박스로 인식된 객체에만 투영된 LiDAR 포인트들을 이용하여 객체의 종 방향 거리를 측정하는 거리 측정부를 포함하는 것을 특징으로 하는 인식률 및 측정 범위 향상을 위한 센서 융합 및 데이터 처리 장치.

객체 인식 및 식별을 위한 이미지 데이터를 획득하는 카메라 센서와 객체 거리 측정을 위한 LiDAR 센서를 갖는 센서부;카메라의 내부 파라미터를 추정할 수 있는 카메라 캘리브레이션 및 서로 다른 센서의 좌표계 간의 관계를 맞추는 외부 캘리브레이션을 진행하여 센서 간의 좌표계를 일치시키는 센서 캘리브레이션부;이미지 데이터와 거리 측정 데이터를 융합하는 센서 데이터 연관 처리부;융합된 센서 데이터를 활용하여 동적 객체의 움직임을 추정하기 위한 필터링을 하는 센서 데이터 필터링부;센서 데이터에서 수집된 정보를 기반으로 객체의 위치를 추정하는 객체 추정부;를 포함하는 것을 특징으로 하는 인식률 및 측정 범위 향상을 위한 센서 융합 및 데이터 처리 장치.

제 11 항에 있어서, 거리 측정 단계에서,거리 데이터의 정확도를 높이기 위하여 데이터의 중앙에 위치하는 값을 이용하는 중앙값 필터를 사용하여 거리 측정 결과를 왜곡하는 이상치를 제거하는 것을 특징으로 하는 인식률 및 측정 범위 향상을 위한 센서 융합 및 데이터 처리 방법.

제 1 항에 있어서, 센서 데이터 필터링부는,객체의 동적 행동을 예측하고 추정하기 위해 상태 공간 모델을 사용하는 모델링부와,객체의 위치와 속도를 추정하기 위해 선정한 모델과 센서 측정 노이즈 공분산을 기반으로 현재 상태를 예측(prediction)하고, 새로운 측정값을 받아 예측된 상태와 실제 측정 사이의 차이를 최소화하는 보정(Correction)을 수행하는 칼만 필터부를 포함하는 것을 특징으로 하는 인식률 및 측정 범위 향상을 위한 센서 융합 및 데이터 처리 장치.

카메라의 내부 파라미터를 추정할 수 있는 카메라 캘리브레이션 및 서로 다른 센서의 좌표계 간의 관계를 맞추는 외부 캘리브레이션을 진행하여 카메라 센서와 LiDAR 센서 간의 좌표계를 일치시키는 센서 캘리브레이션 단계;이미지 데이터와 거리 측정 데이터를 융합하는 센서 데이터 연관 처리 단계;융합된 센서 데이터를 활용하여 동적 객체의 움직임을 추정하기 위한 필터링을 하는 센서 데이터 필터링 단계;센서 데이터에서 수집된 정보를 기반으로 객체의 위치를 추정하는 객체 추정 단계;를 포함하는 것을 특징으로 하는 인식률 및 측정 범위 향상을 위한 센서 융합 및 데이터 처리 방법.

제 4 항에 있어서, 센서 캘리브레이션 단계에서 카메라 캘리브레이션은 pinhole camera 모델이 사용되며 2D 이미지 평면은 , 3D 공간 좌표는 로 표현되고,와 는 각각 이미지 평면 상의 수평 및 수직 좌표, 는 실제 3차원 공간 좌표를 나타내고,pinhole camera 모델을 사용해 3D 좌표에서 2D 이미지 좌표로 투영하는 수식은,이고,여기서, 는 실제 거리와 이미지 상의 거리 사이의 스케일링을 조정하는 비례 상수인 것을 특징으로 하는 인식률 및 측정 범위 향상을 위한 센서 융합 및 데이터 처리 방법.

제 5 항에 있어서, 카메라의 내부 파라미터인 초점 거리 와 는 각각 축과 축 방향의 이미지 평면에 투영될 때의 스케일링을 나타내는 것이고,광학 중심 좌표 와 는 이미지의 중심에 위치하며, 초점 거리와 광학 중심 좌표는 이미지를 형성하고,는 이미지 평면 상의 축과 축 픽셀의 기울어짐을 표현하고,과 는 카메라의 외부 파라미터 행렬로, 카메라의 3D 공간 좌표에 대한 위치와 방향을 나타내며 은 3×3 회전 행렬이고,는 3×1 변환 벡터를 나타내는 것을 특징으로 하는 인식률 및 측정 범위 향상을 위한 센서 융합 및 데이터 처리 방법.

제 4 항에 있어서, 센서 캘리브레이션 단계에서 서로 다른 센서의 좌표계 간의 정확한 관계를 맞추기 위하여,외부 캘리브레이션 과정에서 LiDAR 프레임에서 카메라 프레임으로 좌표를 변환하는 외부 매트릭스를 정의하고,카메라와 LiDAR의 기하학적 관계를 고려하여 LiDAR의 외부 파라미터를 추정하기 위해 외부 보정 알고리즘을 사용해 센서 간 캘리브레이션을 진행하는 것을 특징으로 하는 인식률 및 측정 범위 향상을 위한 센서 융합 및 데이터 처리 방법.

제 7 항에 있어서, Pinhole camera 모델을 적용한 방식은 3D 공간 좌표 를 카메라의 2D 이미지 평면 좌표 p로 투영할 수 있도록,으로 정의되고,여기서, 는 카메라 캘리브레이션을 통해 얻어진 3x3 고유 행렬이며 카메라의 내부 파라미터이고, 은 카메라가 3D 공간 좌표에 대한 방향을 나타내는 3x3 회전 행렬, 는 카메라가 3D 공간 좌표에 대한 위치를 나타내는 3x1 변환벡터를 나타내는 것을 특징으로 하는 인식률 및 측정 범위 향상을 위한 센서 융합 및 데이터 처리 방법.

제 8 항에 있어서, LiDAR 센서는 수평 평면에서 스캔을 수행하며 평면 내에 위치한 객체의 거리를 측정하고,카메라 좌표의 점 는 LiDAR 좌표의 점 에 해당하며, 카메라 좌표계에서 LiDAR 좌표계로의 강체 변환은,으로 정의되고,여기서, 는 LiDAR에 대한 카메라의 방향을 설명하는 3x3 회전 행렬을 나타내고, Δ는 LiDAR에 대한 카메라의 상대적인 위치를 설명하는 3x1 변환벡터를 나타내는 것을 특징으로 하는 인식률 및 측정 범위 향상을 위한 센서 융합 및 데이터 처리 방법.

제 9 항에 있어서, 외부 보정을 위한 두 파라미터 와 Δ를 얻기 위해,checkerboard 평면 상의 특정 지점 가 카메라에 의해 감지되었을 때, 이 지점은 LiDAR에 의해 감지된 지점과 일치해야 하는 checkerboard의 기하학적 제약 조건 을 사용하고,여기서, 은 checkerboard 평면에 대한 법선 벡터를 나타내고, 는 LiDAR 좌표계를 카메라의 좌표계로 변환하는 3x3 회전 행렬이고, 는 LiDAR로 측정한 checkerboard 평면 상의 점, Δ는 카메라 좌표계로의 변환을 위해 필요한 LiDAR 좌표계의 위치를 이동하는 변환벡터를 나타내는 것을 특징으로 하는 인식률 및 측정 범위 향상을 위한 센서 융합 및 데이터 처리 방법.

제 4 항에 있어서, 센서 데이터 연관 처리 단계는,카메라의 이미지 데이터에서 객체 식별을 위해 딥러닝 알고리즘을 이용하여 바운딩 박스(bounding box) 생성을 하는 객체 식별 단계와,LiDAR의 포인트가 바운딩 박스의 왼쪽 모서리 상단 픽셀 좌표, 오른쪽 모서리 하단 픽셀 좌표 범위 내에 존재하는지 확인하는 라이다 포인트 검증 단계와,식별된 객체가 아닌 곳에 투영된 LiDAR의 포인트는 모두 제거하여 바운딩 박스로 인식된 객체 이미지에만 LiDAR 포인트를 투영하는 라이다 데이터 투영 단계와,바운딩 박스로 인식된 객체에만 투영된 LiDAR 포인트들을 이용하여 객체의 종 방향 거리를 측정하는 거리 측정 단계를 포함하는 것을 특징으로 하는 인식률 및 측정 범위 향상을 위한 센서 융합 및 데이터 처리 방법.

제 11 항에 있어서, 객체 식별 단계에서,YOLOv3 알고리즘을 사용하여 이미지 내에서 객체를 식별하고, 객체의 종류와 확률이 포함된 바운딩 박스를 생성하고,바운딩 박스는 식별된 객체의 위치와 크기를 표현하는, 바운딩 박스 왼쪽 모서리 상단의 좌표 및 오른쪽 모서리 하단의 좌표 두 쌍의 픽셀 좌표로 정의되는 것을 특징으로 하는 인식률 및 측정 범위 향상을 위한 센서 융합 및 데이터 처리 방법.

제 4 항에 있어서, 센서 데이터 필터링 단계는,객체의 동적 행동을 예측하고 추정하기 위해 상태 공간 모델을 사용하는 모델링 단계와,객체의 위치와 속도를 추정하기 위해 선정한 모델과 센서 측정 노이즈 공분산을 기반으로 현재 상태를 예측(prediction)하고, 새로운 측정값을 받아 예측된 상태와 실제 측정 사이의 차이를 최소화하는 보정(Correction)을 수행하는 칼만 필터링 단계를 포함하는 것을 특징으로 하는 인식률 및 측정 범위 향상을 위한 센서 융합 및 데이터 처리 방법.

제 14 항에 있어서, 모델링 단계에서 상태 공간 모델의 객체 추정을 위한 상태 벡터는,으로 정의되고,여기서, 는 상태 벡터, 는 LiDAR에서 측정된 객체 종 방향 거리, 는 LiDAR에서 측정된 객체 종 방향 속도를 나타내며, 은 카메라에서 측정된 객체 횡 방향 거리, 은 카메라에서 측정된 객체 횡 방향 속도를 나타내는 것을 특징으로 하는 인식률 및 측정 범위 향상을 위한 센서 융합 및 데이터 처리 방법.

제 15 항에 있어서, 상태 공간 모델은,으로 정의되고,Φ는 등속도 모델, 는 시간 간격, 는 프로세스 노이즈를 나타내는 것을 특징으로 하는 인식률 및 측정 범위 향상을 위한 센서 융합 및 데이터 처리 방법.

제 16 항에 있어서, 측정 모델은,으로 정의되고,C는 관측 행렬, 는 센서 측정 노이즈, 는 LiDAR와 카메라의 종, 횡 방향 거리 오차 분포를 기반으로 설정된 측정 노이즈 공분산 값인 것을 특징으로 하는 인식률 및 측정 범위 향상을 위한 센서 융합 및 데이터 처리 방법.

제 14 항에 있어서, 선정한 모델을 기반으로 현재 상태를 예측(prediction)하는 단계는,으로 정의되고,여기서, 는 예측된 상태 추정치, 는 예측된 오차 공분산, 는 gaussian 형태의 프로세스 노이즈 공분산을 나타내는 것을 특징으로 하는 인식률 및 측정 범위 향상을 위한 센서 융합 및 데이터 처리 방법.

제 14 항에 있어서, 보정(Correction)을 수행하는 단계는,으로 정의되고,여기서, 는 실제 측정값과 예측 측정값 사이의 차이에 대한 불확실성을 나타내는 공분산, 는 예측과 실제 측정 간의 균형을 조절하는 칼만 게인, 는 업데이트된 상태 추정치, 는 업데이트 된 공분산, 는 단위 행렬, 는 gaussian 형태의 측정 노이즈 공분산을 나타내는 것을 특징으로 하는 인식률 및 측정 범위 향상을 위한 센서 융합 및 데이터 처리 방법.