다중작업 학습기반의 교통객체 탐지, 주행 가능영역 추정 및 차선 분할을 위한 영상 데이터 처리 장치 및 방법
APPARATUS AND METHOD OF PROCESSING IMAGE DATA FOR TRAFFIC OBJECT DETECTION, DRIVABLE AREA, LANE LINE SEGMENTATION BASED ON MULTITASKING LEARNING
특허 요약
본 발명은 다중작업 학습기반의 교통객체 탐지, 주행 가능영역 추정 및 차선 분할을 위한 영상 데이터 처리 장치 및 방법에 관한 것으로, 본 발명의 일실시예 따른 영상 데이터 처리 장치는 카메라를 통해 영상을 획득하는 영상 획득부, 상기 획득된 영상을 정규화된 크기로 변환하고, 상기 변환된 크기의 영상을 특징맵으로 생성하는 영상 전처리부, 상기 생성된 특징맵을 학습하여 상기 획득된 영상에서의 교통객체를 탐지하는 교통객체 탐지부, 상기 생성된 특징맵을 학습하여 상기 획득된 영상에서의 주행 가능영역을 추정하는 주행 가능영역 추정부, 상기 생성된 특징맵을 학습하여 상기 획득된 영상에서의 차선을 분할하는 차선 분할부 및 상기 탐지된 교통객체, 상기 추정된 주행 가능영역 및 상기 분할된 차선이 반영된 도로 정보인식 영상을 출력하는 영상 출력부를 포함할 수 있다.
청구항
번호청구항
1

카메라를 통해 영상을 획득하는 영상 획득부;상기 획득된 영상을 정규화된 크기로 변환하고, 상기 변환된 크기의 영상을 특징맵으로 생성하는 영상 전처리부;상기 생성된 특징맵을 학습하여 상기 획득된 영상에서의 교통객체를 탐지하는 교통객체 탐지부;상기 생성된 특징맵을 학습하여 상기 획득된 영상에서의 주행 가능영역을 추정하는 주행 가능영역 추정부;상기 생성된 특징맵을 학습하여 상기 획득된 영상에서의 차선을 분할하는 차선 분할부; 및상기 탐지된 교통객체, 상기 추정된 주행 가능영역 및 상기 분할된 차선이 반영된 도로 정보인식 영상을 출력하는 영상 출력부를 포함하는 것을 특징으로 하는영상 데이터 처리 장치.

2

제1항에 있어서,상기 탐지된 교통객체, 상기 분할된 차선 및 상기 추정된 주행 가능영역에 대한 동시 학습을 위한 손실 함수를 계산하는 네트워크 학습부를 더 포함하는 것을 특징으로 하는영상 데이터 처리 장치.

3

제2항에 있어서,상기 네트워크 학습부는 상기 동시 학습에서 상기 계산된 손실 함수에 기반하여 학습 우선 순위를 결정하는 것을 특징으로 하는영상 데이터 처리 장치.

4

제1항에 있어서,상기 영상 전처리부는 상기 생성된 특징맵을 공유 특징맵으로 하고, 상기 공유 특징맵을 교통객체 탐지를 위한 특징맵, 주행 가능영역 추정을 위한 특징맵, 차선 분할을 위한 특징맵으로 분할하는 것을 특징으로 하는영상 데이터 처리 장치.

5

제4항에 있어서,상기 영상 전처리부는 상기 주행 가능영역 추정을 위한 특징맵 및 상기 차선 분할을 위한 특징맵 간의 정보 공유를 위해 추가 특징맵을 추가하는 것을 특징으로 하는영상 데이터 처리 장치.

6

제5항에 있어서,상기 교통객체 탐지부는 상기 공유 특징맵에 기반하여 상기 교통객체 탐지를 위한 특징맵을 학습하여 상기 교통객체를 탐지하고,상기 주행 가능영역 추정부는 상기 추가된 추가 특징맵에 기반하여 상기 주행 가능영역 추정을 위한 특징맵을 학습하여 상기 주행 가능영역을 추정하며,상기 차선 분할부는 상기 추가된 추가 특징맵에 기반하여 상기 차선 분할을 위한 특징맵을 학습하여 상기 차선을 분할하는 것을 특징으로 하는영상 데이터 처리 장치.

7

제1항에 있어서,상기 영상 출력부는 상기 탐지된 교통객체, 상기 추정된 주행 가능영역 및 상기 분할된 차선을 적어도 하나의 색상이 반영된 도형 또는 영역으로 표현하는 도로 정보인식 영상을 출력하는 것을 특징으로 하는영상 데이터 처리 장치.

8

영상 획득부에서, 카메라를 통해 영상을 획득하는 단계;영상 전처리부에서, 상기 획득된 영상을 정규화된 크기로 변환하고, 상기 변환된 크기의 영상을 특징맵으로 생성하는 단계;교통객체 탐지부에서, 상기 생성된 특징맵을 학습하여 상기 획득된 영상에서의 교통객체를 탐지하는 단계;주행 가능영역 추정부에서, 상기 생성된 특징맵을 학습하여 상기 획득된 영상에서의 주행 가능영역을 추정하는 단계;차선 분할부에서, 상기 생성된 특징맵을 학습하여 상기 획득된 영상에서의 차선을 분할하는 단계; 및영상 출력부에서, 상기 탐지된 교통객체, 상기 추정된 주행 가능영역 및 상기 분할된 차선이 반영된 도로 정보인식 영상을 출력하는 단계를 포함하는 것을 특징으로 하는영상 데이터 처리 방법.

9

제8항에 있어서,네트워크 학습부에서, 상기 탐지된 교통객체, 상기 분할된 차선 및 상기 추정된 주행 가능영역에 대한 동시 학습을 위한 손실 함수를 계산하는 단계; 및상기 네트워크 학습부에서, 상기 동시 학습에서 상기 계산된 손실 함수에 기반하여 학습 우선 순위를 결정하는 단계를 더 포함하는 것을 특징으로 하는영상 데이터 처리 방법.

10

제8항에 있어서,상기 획득된 영상을 정규화된 크기로 변환하고, 상기 변환된 크기의 영상을 특징맵으로 생성하는 단계는,상기 생성된 특징맵을 공유 특징맵으로 하고, 상기 공유 특징맵을 교통객체 탐지를 위한 특징맵, 주행 가능영역 추정을 위한 특징맵, 차선 분할을 위한 특징맵으로 분할하는 단계; 및상기 주행 가능영역 추정을 위한 특징맵 및 상기 차선 분할을 위한 특징맵 간의 정보 공유를 위해 추가 특징맵을 추가하는 단계를 포함하는 것을 특징으로 하는영상 데이터 처리 방법.