자율주행을 위한 실시간 3차원 공간 데이터 업샘플링 시스템 및 장치
Method and system for upsampling real-time 3D spatial data for autonomous driving
특허 요약
본 발명은 자율주행을 위한 실시간 3차원 공간 데이터 업샘플링 방법 및 시스템에 관한 것으로, 더욱 상세하게는 라이다로부터 획득한 저밀도의 3차원 점 군 데이터를 초해상화(super-resolution)하여 고밀도의 3차원 점 군 데이터로 변환시키는, 자율주행을 위한 실시간 3차원 공간 데이터 업샘플링 방법 및 시스템에 관한 것이다.
청구항
번호청구항
5

제 1 항에 있어서,상기 타겟의 거리 예측값을 상기 거리정보를 이용한 확률분포를 기반으로 추정하는 단계는,상기 거리정보와 상기 타겟이 주어지면, 상기 거리 예측값을 확률분포로 나타내는 조건부 뉴럴 프로세스를 이용하는,자율주행을 위한 실시간 3차원 공간데이터 업샘플링 방법.

3

제 1 항에 있어서,상기 타겟 이진 마스크를 생성하는 단계는,상기 초해상화 비율을 반영한 상기 타겟 이진 마스크에 기초하여 상기 특징값과 상기 타겟의 위치를 나타내되,상기 타겟 이진 마스크는, 상기 제1 거리 이미지의 적어도 일부가 상기 초해상화 비율에 대응하는 마스크로서, 상기 마스크 상의 상기 특징값의 위치와, 상기 거리 예측값을 구해야 하는 상기 타겟의 위치 정보를 포함하는,자율주행을 위한 실시간 3차원 공간 데이터 업샘플링 방법.

1

라이다로부터 조사된 복수의 레이저 빔이 반사되어 돌아오는 왕복 시간에 기초하여 산출된 거리정보들에 기초하는 3차원 제1 점 군 데이터를 획득하는 단계;상기 제1 점 군 데이터를 2차원 평면에 투사하여 거리정보 기반의 제1 거리 이미지를 생성하는 단계;상기 제1 거리 이미지에 대한 초해상화 비율(super-resolution ratio)을 기반으로, 상기 제1 거리 이미지의 특징값의 위치, 및 거리 예측값을 구해야 하는 타겟의 위치를 나타내는 타겟 이진 마스크(target binary mask)를 생성하는 단계;상기 타겟의 거리 예측값을 상기 거리정보를 이용한 확률분포를 기반으로 추정하는 단계;상기 추정된 타겟의 거리 예측값을 기반으로 초해상화된 제2 거리 이미지를 획득하는 단계; 및상기 제2 거리 이미지를 3차원 공간으로 반투영하여 고밀도의 3차원 제2 점 군 데이터를 획득하는 단계를 포함하는,자율주행을 위한 실시간 3차원 공간 데이터 업샘플링 방법.

2

제 1 항에 있어서,상기 제1 거리 이미지를 생성하는 단계 이후,상기 제1 거리 이미지를 컨볼루션 레이어로 구성된 특징 추출기(feature extractor)에 입력시켜 상기 특징값을 추출하는 단계를 더 포함하는,자율주행을 위한 실시간 3차원 공간 데이터 업샘플링 방법.

4

제 1 항에 있어서,상기 타겟의 거리 예측값을 상기 거리정보를 이용한 확률분포를 기반으로 추정하는 단계는,상기 타겟 이진 마스크를 분포 추정기(distribution estimator)에 입력시켜, 상기 타겟의 거리정보의 확률분포를 구성하는 평균과 분산값을 산출하고, 상기 평균과 분산값에 기초하여 상기 타겟의 거리 예측값을 구하는,자율주행을 위한 실시간 3차원 공간 데이터 업샘플링 방법.

6

제 4 항에 있어서,상기 타겟의 거리 예측값을 상기 거리정보를 이용한 확률분포를 기반으로 추정하는 단계는,상기 분산값을 기준으로 필터링하여, 기준 미달의 거리정보를 제거하는 단계를 더 포함하는, 자율주행을 위한 실시간 3차원 공간 데이터 업샘플링 방법.

7

제 1 항에 있어서,상기 제2 점 군 데이터를 획득하는 단계 이후,상기 제2 점 군 데이터를 기반으로 물체 인식(object detection), 자율주행 플랫폼 위치 추정 및 지도생성 중 적어도 하나를 실행하는 단계를 더 포함하는,자율주행을 위한 실시간 3차원 공간데이터 업샘플링 방법.

8

조사된 복수의 레이저 빔이 반사되어 돌아오는 왕복 시간에 기초하여 산출된 거리정보들에 기초하는 복수의 3차원 제1 점 군 데이터를 획득하는 라이다; 및상기 제1 점 군 데이터를 2차원 평면에 투사하여 거리정보 기반의 제1 거리 이미지를 생성하고, 상기 제1 거리 이미지에 대한 초해상화 비율(super-resolution ratio)을 기반으로, 상기 제1 거리 이미지의 특징값의 위치, 및 거리 예측값을 구해야 하는 타겟의 위치를 나타내는 타겟 이진 마스크(target binary mask)를 생성하며, 상기 타겟의 거리 예측값을 상기 거리정보를 이용한 확률분포를 기반으로 추정하고, 상기 추정된 타겟의 거리 예측값을 기반으로 초해상화된 제2 거리 이미지를 획득하며, 상기 제2 거리 이미지를 3차원 공간으로 반투영하여 고밀도의 3차원 제2 점 군 데이터를 획득하는 프로세서를 포함하는,자율주행을 위한 실시간 3차원 공간 데이터 업샘플링 시스템.

9

제 8 항에 있어서,상기 프로세서는,상기 제1 거리 이미지를 컨볼루션 레이어로 구성된 특징 추출기(feature extractor)에 입력시켜 상기 특징값을 추출하는,자율주행을 위한 실시간 3차원 공간 데이터 업샘플링 시스템.

10

제 8 항에 있어서,상기 타겟 이진 마스크는, 상기 제1 거리 이미지의 적어도 일부가 상기 초해상화 비율에 대응하는 마스크로서, 상기 마스크 상의 상기 특징값의 위치와, 상기 거리 예측값을 구해야 하는 상기 타겟의 위치 정보를 포함하는,자율주행을 위한 실시간 3차원 공간 데이터 업샘플링 시스템.

11

제 8 항에 있어서,상기 프로세서는,상기 타겟 이진 마스크를 분포 추정기(distribution estimator)에 입력시켜, 상기 타겟의 거리정보의 확률분포를 구성하는 평균과 분산값을 산출하고, 상기 평균과 분산값에 기초하여 상기 타겟의 거리 예측값을 구하는,자율주행을 위한 실시간 3차원 공간 데이터 업샘플링 시스템.

12

제 8 항에 있어서,상기 프로세서는,상기 거리정보와 상기 타겟이 주어지면, 상기 거리 예측값을 확률분포로 나타내는 조건부 뉴럴 프로세스를 이용하는,자율주행을 위한 실시간 3차원 공간데이터 업샘플링 자율주행을 위한 실시간 3차원 공간 데이터 업샘플링 시스템.

13

제 11 항에 있어서,상기 프로세서는,상기 분산값을 기준으로 필터링하여, 기준 미달의 거리정보를 제거하는,자율주행을 위한 실시간 3차원 공간 데이터 업샘플링 시스템.

14

제 9 항에 있어서,상기 프로세서는,상기 제2 점 군 데이터를 기반으로 물체 인식(object detection), 자율주행 플랫폼 위치 추정 및 지도생성 중 적어도 하나를 실행하는, 자율주행을 위한 실시간 3차원 공간 데이터 업샘플링 시스템.