컴퓨팅 장치에 의해 수행되는, 센서 데이터 융합을 통한 시맨틱 점유 예측을 위한 특징맵 생성 방법에 있어서,소정의 공간에 대하여, 제1 해상도를 포함한 서로 다른 복수의 해상도를 가지는 복수의 포인트 클라우드를 기반으로 추출되는 복셀 특징과 상기 제1 해상도의 이미지로부터 추출되는 픽셀 특징을 결합하여 초기 특징맵을 생성하는 단계;상기 생성된 초기 특징맵을 기반으로 상기 소정의 공간 내에서의 주요 영역을 선택하는 단계;상기 제1 해상도보다 높은 제2 해상도의 포인트 클라우드로부터 추출되는 복셀 특징들 중 상기 선택된 주요 영역에 대응하는 복셀 특징과 상기 제2 해상도의 이미지로부터 추출되는 픽셀 특징들 중 상기 선택된 주요 영역에 대응하는 픽셀 특징을 결합하여 추가 특징맵을 생성하는 단계; 및상기 생성된 초기 특징맵과 상기 생성된 추가 특징맵을 이용하여 상기 소정의 공간에서의 시맨틱 점유 예측을 위한 최종 특징맵을 생성하는 단계를 포함하는,센서 데이터 융합을 통한 시맨틱 점유 예측을 위한 특징맵 생성방법.

제1항에 있어서,상기 초기 특징맵을 생성하는 단계는,상기 복수의 포인트 클라우드 각각을 복셀화함에 따라 복셀 데이터를 생성하고, 상기 생성된 복셀 데이터에 포함된 복수의 복셀 각각 속하는 포인트들을 기반으로 복수의 복셀 각각에 대응하는 복수의 복셀 특징을 추출하는 단계;상기 제1 해상도의 이미지로부터 복수의 픽셀 특징을 추출하는 단계;상기 추출된 복수의 복셀 특징 각각에 대응하는 복수의 복셀 쿼리를 생성하는 단계;상기 생성된 복셀 데이터를 상기 제1 해상도의 이미지 상에 투영하고, 상기 복수의 복셀 각각이 상기 제1 해상도의 이미지 상에 투영된 위치에 기초하여 상기 생성된 복수의 복셀 쿼리 각각에 매칭할 픽셀들을 선택하는 단계; 및상기 추출된 복수의 픽셀 특징 중 상기 선택된 픽셀들로부터 추출된 픽셀 특징 및 상기 선택된 픽셀들과 매칭된 복셀 쿼리를 결합함에 따라 상기 제1 해상도의 초기 특징맵을 생성하는 단계를 포함하는,센서 데이터 융합을 통한 시맨틱 점유 예측을 위한 특징맵 생성 방법.

제2항에 있어서,상기 복수의 복셀 쿼리를 생성하는 단계는,무작위 값으로 초기화되며 학습 가능한 랜덤 쿼리를 생성하는 단계;상기 복수의 포인트 클라우드를 기반으로 밀집 특징맵을 생성하는 단계; 및상기 생성된 랜덤 쿼리와 상기 생성된 밀집 특징맵을 결합하여 복셀 쿼리를 생성하는 단계를 포함하는,센서 데이터 융합을 통한 시맨틱 점유 예측을 위한 특징맵 생성 방법.

제3항에 있어서,상기 밀집 특징맵을 생성하는 단계는,상기 복수의 포인트 클라우드 중 상기 제1 해상도의 포인트 클라우드와 상기 제1 해상도보다 낮은 해상도의 포인트 클라우드들을 기반으로 생성된 복수의 복셀 데이터에 포함된 복수의 복셀 중 비어 있지 않은 적어도 하나의 복셀을 선택하는 단계;상기 선택된 적어도 하나의 복셀에 대응하여 제1 해상도의 포인트 클라우드로부터 추출된 복셀 특징과 상기 제1 해상도보다 낮은 해상도의 포인트 클라우드들로부터 추출된 복셀 특징을 누적하는 단계; 및상기 누적된 복셀 특징의 평균을 상기 선택된 적어도 하나의 복셀에 매핑함에 따라 밀집 특징맵을 생성하는 단계를 포함하는,센서 데이터 융합을 통한 시맨틱 점유 예측을 위한 특징맵 생성 방법.

제3항에 있어서,상기 밀집 특징맵을 생성하는 단계는,하기의 수학식 1을 이용하여 밀집 특징맵을 생성하는 단계를 포함하는,센서 데이터 융합을 통한 시맨틱 점유 예측을 위한 특징맵 생성 방법.003c#수학식 1003e#여기서, 상기 는 밀집 특징맵, 상기 는 비어 있지 않은 복셀들의 집합 및 상기 는 k번째 비어 있지 않은 복셀에 대응하는 복셀 특징임

제2항에 있어서,상기 복수의 복셀 쿼리를 생성하는 단계는,하기의 수학식 2를 기반으로 상기 추출된 복수의 복셀 특징 각각에 대응하는 복수의 복셀 쿼리를 생성하는 단계를 포함하는,센서 데이터 융합을 통한 시맨틱 점유 예측을 위한 특징맵 생성 방법.003c#수학식 2003e#여기서, 상기 는 복셀 쿼리, 상기 는 밀집 특징맵 및 상기 는 랜덤 쿼리임

제2항에 있어서,상기 제1 해상도의 초기 특징맵을 생성하는 단계는,변형 가능 크로스-어텐션(Deformable Cross-Attention)을 기반으로, 상기 선택된 픽셀들로부터 추출된 픽셀 특징과 상기 선택된 픽셀들과 매칭된 복셀 쿼리를 결합함에 따라 상기 제1 해상도의 초기 특징맵을 생성하는 단계를 포함하는,센서 데이터 융합을 통한 시맨틱 점유 예측을 위한 특징맵 생성 방법.

제2항에 있어서,상기 제1 해상도의 초기 특징맵을 생성하는 단계는,하기의 수학식 3을 기반으로 상기 제1 해상도의 초기 특징맵을 생성하는 단계를 포함하는,센서 데이터 융합을 통한 시맨틱 점유 예측을 위한 특징맵 생성 방법.003c#수학식 3003e#여기서, 상기 은 초기 특징맵, 상기 는 복셀 쿼리와 매칭된 픽셀들, 상기 는 복셀 쿼리에 대해 참조되는 픽셀의 개수, 상기 는 변형 가능 크로스-어텐션 함수, 상기 는 복셀 쿼리, 상기 는 복셀 쿼리가 투영된 제1 해상도 이미지 상의 위치 및 상기 는 픽셀 특징임

제2항에 있어서,상기 주요 영역을 선택하는 단계는,상기 생성된 초기 특징맵을 기반으로, 상기 복수의 복셀 각각의 중요도를 포함하는 중요도 맵을 생성하는 단계; 및상기 생성된 중요도 맵에 기초하여, 상기 복수의 복셀 중 중요도가 임계값 이상인 적어도 하나의 복셀에 대응하는 영역을 주요 영역으로 선택하는 단계를 포함하는,센서 데이터 융합을 통한 시맨틱 점유 예측을 위한 특징맵 생성 방법.

제9항에 있어서,상기 중요도 맵을 생성하는 단계는,하기의 수학식 4를 기반으로 상기 복수의 복셀 각각의 중요도를 포함하는 중요도 맵을 생성하는 단계를 포함하는,센서 데이터 융합을 통한 시맨틱 점유 예측을 위한 특징맵 생성 방법.003c#수학식 4003e#여기서, 상기 은 중요도 맵, 상기 는 시그모이드 함수(sigmoid function), 상기 는 3D 합성곱 레이어 및 상기 은 초기 특징맵임

제9항에 있어서,상기 제2 해상도는,상기 제1 해상도보다 높은 중해상도이며,상기 추가 특징맵을 생성하는 단계는,상기 생성된 중요도 맵에 기초하여, 상기 복수의 복셀 중 중요도가 제1 임계값 이상 제2 임계값 미만인 복셀들을 선택하는 단계;상기 선택된 복셀들을 각각을 제1 개수로 분할함에 따라 복수의 제1 단위 복셀을 생성하는 단계; 및상기 중해상도의 포인트 클라우드로부터 추출된 복셀 특징들 중 상기 생성된 복수의 제1 단위 복셀에 대응하는 복셀 특징과 상기 중해상도의 이미지로부터 추출된 픽셀 특징들 중 상기 생성된 복수의 제1 단위 복셀에 대응하는 픽셀 특징을 결합하여 상기 중해상도의 추가 특징맵을 생성하는 단계를 포함하는,센서 데이터 융합을 통한 시맨틱 점유 예측을 위한 특징맵 생성 방법.

제11항에 있어서,상기 추가 특징맵을 생성하는 단계는,하기의 수학식 5를 이용하여 상기 중해상도의 추가 특징맵을 생성하는 단계를 포함하는,센서 데이터 융합을 통한 시맨틱 점유 예측을 위한 특징맵 생성 방법.003c#수학식 5003e#여기서, 상기 는 중해상도의 추가 특징맵, 상기 은 1x1 컨볼루션 연산 함수, 상기 은 중해상도의 포인트 클라우드로부터 추출된 복셀 특징 및 상기 는 중해상도의 이미지로부터 추출된 픽셀 특징임

제9항에 있어서,상기 제2 해상도는,상기 제1 해상도보다 높은 고해상도이며,상기 추가 특징맵을 생성하는 단계는,상기 생성된 중요도 맵에 기초하여, 상기 복수의 복셀 중 중요도가 제2 임계값 이상인 복셀들을 선택하는 단계;상기 선택된 복셀들을 각각을 제2 개수로 분할함에 따라 복수의 제2 단위 복셀을 생성하는 단계; 및상기 고해상도의 포인트 클라우드로부터 추출된 복셀 특징들 중 상기 생성된 복수의 제2 단위 복셀에 대응하는 복셀 특징과 상기 고해상도의 이미지로부터 추출된 픽셀 특징들 중 상기 생성된 복수의 제2 단위 복셀에 대응하는 픽셀 특징을 결합하여 상기 고해상도의 추가 특징맵을 생성하는 단계를 포함하는,센서 데이터 융합을 통한 시맨틱 점유 예측을 위한 특징맵 생성 방법.

제13항에 있어서,상기 추가 특징맵을 생성하는 단계는,하기의 수학식 6을 이용하여 상기 고해상도의 추가 특징맵을 생성하는 단계를 포함하는,센서 데이터 융합을 통한 시맨틱 점유 예측을 위한 특징맵 생성 방법.003c#수학식 6003e#여기서, 상기 는 고해상도의 추가 특징맵, 상기 은 1x1 컨볼루션 연산 함수, 상기 은 고해상도의 포인트 클라우드로부터 추출된 복셀 특징 및 상기 는 고해상도의 이미지로부터 추출된 픽셀 특징임

제1항에 있어서,상기 최종 특징맵을 생성하는 단계는,하기의 수학식 7을 이용하여 최종 특징맵을 생성하는 단계를 포함하는,센서 데이터 융합을 통한 시맨틱 점유 예측을 위한 특징맵 생성방법.003c#수학식 7003e#여기서, 상기 는 최종 특징맵, 상기 는 초기 특징맵, 상기 및 상기 는 3D 스파스 컨볼루션(sparse convolution) 연산 함수, 상기 및 상기 는 추가 특징맵임

제1항에 있어서,기 학습된 인공지능 기반의 기 학습된 시맨틱 점유 예측 모델을 통해, 상기 생성된 최종 특징맵을 이용하여 상기 소정의 공간에 대응하는 복셀 공간에 포함된 복수의 복셀 각각을 복수의 클래스 중 어느 하나의 클래스로 분류하는 단계를 더 포함하되,상기 복수의 클래스는,점유된 복셀에 대응하는 객체의 종류에 대응하는 시맨틱 점유 클래스와 비어있음(empty), 가려짐(occluded) 및 가려지지 않음(non-occluded)에 대응하는 가시성 인식 클래스를 포함하는 것인, 센서 데이터 융합을 통한 시맨틱 점유 예측을 위한 특징맵 생성 방법.

제16항에 있어서,상기 복수의 복셀 각각을 복수의 클래스 중 어느 하나의 클래스로 분류하는 단계는,상기 생성된 최종 특징맵에 포함된 제1 해상도의 초기 특징맵을 분석함에 따라, 상기 복수의 복셀 각각을 상기 복수의 클래스 중 어느 하나의 클래스로 1차 분류하는 단계; 및상기 1차 분류의 결과에 기초하여, 상기 복수의 복셀 중 적어도 하나의 복셀이 시맨틱 점유 클래스로 분류되거나, 가시성 인식 클래스 중 가려짐에 대응하는 클래스로 분류된 경우, 상기 생성된 최종 특징맵에 포함된 하나 이상의 제2 해상도의 추가 특징맵을 이용하여 상기 적어도 하나의 복셀을 상기 복수의 클래스 중 어느 하나의 클래스로 2차 분류하는 단계를 포함하는,센서 데이터 융합을 통한 시맨틱 점유 예측을 위한 특징맵 생성 방법.

프로세서;네트워크 인터페이스;메모리; 및상기 메모리에 로드(load) 되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되,상기 컴퓨터 프로그램은,소정의 공간에 대하여, 제1 해상도를 포함한 서로 다른 복수의 해상도를 가지는 복수의 포인트 클라우드를 기반으로 추출되는 복셀 특징과 상기 제1 해상도의 이미지로부터 추출되는 픽셀 특징을 결합하여 초기 특징맵을 생성하는 인스트럭션(instruction);상기 생성된 초기 특징맵을 기반으로 상기 소정의 공간 내에서의 주요 영역을 선택하는 인스트럭션;상기 제1 해상도보다 높은 제2 해상도의 포인트 클라우드로부터 추출되는 복셀 특징들 중 상기 선택된 주요 영역에 대응하는 복셀 특징과 상기 제2 해상도의 이미지로부터 추출되는 픽셀 특징들 중 상기 선택된 주요 영역에 대응하는 픽셀 특징을 결합하여 추가 특징맵을 생성하는 인스트럭션; 및상기 생성된 초기 특징맵과 상기 생성된 추가 특징맵을 이용하여 상기 소정의 공간에서의 시맨틱 점유 예측을 위한 최종 특징맵을 생성하는 인스트럭션을 포함하는,센서 데이터 융합을 통한 시맨틱 점유 예측을 위한 특징맵 생성방법을 수행하는 컴퓨팅 장치.

컴퓨팅 장치와 결합되어,소정의 공간에 대하여, 제1 해상도를 포함한 서로 다른 복수의 해상도를 가지는 복수의 포인트 클라우드를 기반으로 추출되는 복셀 특징과 상기 제1 해상도의 이미지로부터 추출되는 픽셀 특징을 결합하여 초기 특징맵을 생성하는 단계;상기 생성된 초기 특징맵을 기반으로 상기 소정의 공간 내에서의 주요 영역을 선택하는 단계;상기 제1 해상도보다 높은 제2 해상도의 포인트 클라우드로부터 추출되는 복셀 특징들 중 상기 선택된 주요 영역에 대응하는 복셀 특징과 상기 제2 해상도의 이미지로부터 추출되는 픽셀 특징들 중 상기 선택된 주요 영역에 대응하는 픽셀 특징을 결합하여 추가 특징맵을 생성하는 단계; 및상기 생성된 초기 특징맵과 상기 생성된 추가 특징맵을 이용하여 상기 소정의 공간에서의 시맨틱 점유 예측을 위한 최종 특징맵을 생성하는 단계를 포함하는 센서 데이터 융합을 통한 시맨틱 점유 예측을 위한 특징맵 생성방법을 실행시키기 위하여 컴퓨팅 장치로 판독 가능한 기록매체에 저장된, 컴퓨터프로그램.