융합정보 생성 시스템에 의해 수행되는 딥러닝 기반 센서융합 정보 생성 방법에 있어서,다중 센서 환경에서 서로 다른 센서 데이터에 대해 딥 뉴럴 네트워크를 통해 각각의 특징지도를 획득하는 단계; 및 상기 획득된 각각의 특징지도를 각 센서 별 좌표계에 따라 특징지도 융합 과정을 통해 다중센서 융합 특징지도를 생성하는 단계를 포함하는 딥러닝 기반 센서융합 정보 생성 방법.

제1항에 있어서,상기 각각의 특징지도를 획득하는 단계는,카메라, 라이다, 레이다를 포함하는 다중 센서 중 두 개의 센서로부터 획득된 각각의 센서 데이터에 대해 딥 뉴럴 네트워크를 통해 각각의 특징지도를 획득하는 단계를 포함하는 딥러닝 기반 센서융합 정보 생성 방법.

제2항에 있어서,상기 각각의 특징지도를 획득하는 단계는,제1 센서로부터 획득된 포인트들을 3차원 격자구조를 이용하여 구분하고, 상기 구분된 3차원 격자구조의 포인트들을 인코딩하여 제1 센서 좌표계 기준의 특징지도를 획득하는 단계를 포함하고,상기 제1 센서는, 라이다인 것을 특징으로 하는 딥러닝 기반 센서융합 정보 생성 방법.

제2항에 있어서,상기 각각의 특징지도를 획득하는 단계는,제2 센서로부터 취득한 영상 데이터에 대해 제2 센서 좌표계 기준의 특징지도를 획득하는 단계를 포함하고,상기 제2 센서는, 카메라인 것을 특징으로 하는 딥러닝 기반 센서융합 정보 생성 방법.

제1항에 있어서,상기 다중센서 융합 특징지도를 생성하는 단계는,상기 획득된 각각의 특징지도에 대해 게이팅 네트워크를 이용한 1차 다중센서 융합을 통해 강화된 특징지도를 획득하는 단계 를 포함하는 딥러닝 기반 센서융합 정보 생성 방법.

제5항에 있어서,상기 1차 다중센서 융합은, 상기 획득된 각각의 특징지도를 픽셀 별로 합한 후(element-wise summation), 컨볼루션 뉴럴 네트워크와 시그모이드 함수를 통과시켜 어텐션 지도(attention map)를 획득하고, 상기 획득된 각각의 특징지도에 상기 획득된 어텐션 지도를 픽셀 별로 곱하여(element-wise multiplication) 강화된 특징지도를 획득하는 것을 특징으로 하는 딥러닝 기반 센서융합 정보 생성 방법.

제5항에 있어서,상기 획득된 각각의 특징지도는, 라이다의 특징지도 및 카메라의 특징지도를 포함하고, 상기 다중센서 융합 특징지도를 생성하는 단계는,상기 라이다로부터 획득된 3차원 격자구조의 데이터를 카메라 좌표계로 정사영하여 카메라 좌표계의 라이다 특징지도를 획득하는 단계를 포함하는 딥러닝 기반 센서융합 정보 생성 방법.

제7항에 있어서,상기 다중센서 융합 특징지도를 생성하는 단계는,상기 획득된 카메라 좌표계의 라이다 특징지도와 카메라 특징지도를 1차 다중 센서 융합을 통해 강화된 카메라 특징지도를 획득하는 단계를 포함하는 딥러닝 기반 센서융합 정보 생성 방법.

제5항에 있어서,상기 다중센서 융합 특징지도를 생성하는 단계는,상기 획득된 각각의 특징지도에 대해 2차 다중센서 융합을 통해 다중센서 융합 특징지도를 생성하는 단계를 포함하는 딥러닝 기반 센서융합 정보 생성 방법.

제9항에 있어서,상기 트랜스포머 네트워크는, 이중 쿼리를 이용하여 셀프 어텐션과 교차 어텐션으로 구성된 복수 개의 레이어를 반복하는 구조로 구성된 것을 특징으로 하는 딥러닝 기반 센서융합 정보 생성 방법.

제9항에 있어서,상기 다중센서 융합 특징지도를 생성하는 단계는,강화된 카메라 특징지도와 라이다 정보에 대해 트랜스포머 네트워크 기반의 융합 네트워크를 이용한 2차 다중 센서 융합을 통해 다중센서 융합 특징지도를 생성하는 단계를 포함하는 딥러닝 기반 센서융합 정보 생성 방법.

제11항에 있어서,상기 다중센서 융합 특징지도를 생성하는 단계는,3차원 격자구조의 라이다 특징지도 값을 라이다 쿼리의 특징값으로 정의하고, 상기 정의된 라이다 쿼리의3차원 좌표값을 카메라 좌표계에 정사영한 위치의 카메라 특징지도 값을 이미지 쿼리로 사용하여 이중 쿼리를 구성하는 단계를 포함하는 딥러닝 기반 센서융합 정보 생성 방법.

제12항에 있어서,상기 다중센서 융합 특징지도를 생성하는 단계는,상기 라이다 쿼리를 3차원 격자구조의 데이터 간의 관계성을 강화하기 위해 단일 센서 네트워크에 통과시키는 단계를 포함하는 딥러닝 기반 센서융합 정보 생성 방법.

제12항에 있어서,상기 다중센서 융합 특징지도를 생성하는 단계는,상기 라이다 쿼리와 상기 이미지 쿼리를 다중 센서 어텐션 네트워크에 통과시키는 단계 를 포함하는 딥러닝 기반 센서융합 정보 생성 방법.

융합정보 생성 시스템에 있어서, 다중 센서 환경에서 서로 다른 센서 데이터에 대해 딥 뉴럴 네트워크를 통해 각각의 특징지도를 획득하는 특징지도 획득부; 및 상기 획득된 각각의 특징지도를 각 센서 별 좌표계에 따라 특징지도 융합 과정을 통해 다중센서 융합 특징지도를 생성하는 융합 특징지도 생성부를 포함하는 융합정보 생성 시스템.