단안 이미지를 이용한 뎁스 맵 생성 장치 및 방법
Apparatus and Method for Generating Depth Map using Monocular Image
특허 요약
본원발명은 단안 이미지를 이용한 뎁스 맵 생성 장치 및 방법에 관한 것으로, 보다 구체적으로 인코더 및 디코더 아키텍처를 기반으로 최적화된 딥 컨볼루션 신경망(Deep Convolution Neural Network; DCNN)을 포함하고, 상기 인코더는 구비된 특징 레이어 수에 따라서 단안 이미지로부터 하나 이상의 특징(Feature)을 추출하고, 상기 디코더는 서로 다른 특징 레이어로부터 추출된 특징(Feature)에서 불일치하는 픽셀의 변위를 산출하고, 상기 단안 이미지에 대한 뎁스 맵(Depth Map)을 생성하는 것을 특징으로 하는 단안 이미지를 이용한 뎁스 맵 생성 장치 및 방법에 관한 것이다.
청구항
번호청구항
1

인코더 및 디코더 아키텍처를 기반으로 최적화된 딥 컨볼루션 신경망(Deep Convolution Neural Network; DCNN)을 포함하고, 상기 인코더는,구비된 특징 레이어 수에 따라서 단안 이미지로부터 하나 이상의 특징(Feature)을 추출하고,상기 디코더는,서로 다른 특징 레이어로부터 추출된 특징(Feature)에서 불일치하는 픽셀의 변위를 산출하고, 상기 단안 이미지에 대한 뎁스 맵(Depth Map)을 생성하고,상기 인코더는,1/2, 1/4, 1/8, 1/16, 1/32 스케일에서 16, 24, 32, 96, 160 채널을 구비하는 제1 특징 레이어(FL1) 내지 제5 특징 레이어(FL5)를 포함하고,각 특징 레이어로부터 제1 특징(X1) 내지 제5 특징(X5)을 추출하고,상기 디코더는,채널 어텐션(Channel Attention)이 가능하도록 상기 인코더의 제i 특징 레이어(FLi)로부터 추출된 특징(Xi)과 제i+1 특징 레이어(FLi+1)로부터 추출된 특징(Xi+1)을 평균한 후 압축하여 제1 채널 정보(C1)를 생성하고, 완전연결(Fully-Connected; FC) 함수를 이용하여 상기 제1 채널정보(C1) 중에서 제1 주요채널정보(CA1)를 출력하는 인코더 SE블록;를 포함하는 것을 특징으로 하는 단안 이미지를 이용한 뎁스 맵 생성 장치.여기서, i=1,2,3,4

2

제 1항에 있어서, 상기 인코더는, 드론 또는 소형로봇에 탑재되어 신속한 연산이 가능하도록 MobileNetV2를 기반으로 하는 것을 특징으로 하는 단안 이미지를 이용한 뎁스 맵 생성 장치.

3

삭제

4

제 1항에 있어서, 상기 디코더는, 상기 특징(Feature)에 대하여 밀도 레이어 수와 성장률에 따라서 학습한 후 특징집합을 출력하는 고밀도 블록;상기 뎁스 맵(Depth Map)의 해상도를 향상시킬 수 있도록 상기 특징집합에 대하여 이중 스케일링(Scaling)을 이용한 최근접 이웃 보간(Nearest Neighbor Interpolation) 연산을 수행하는 업샘플링 블록;채널 어텐션(Channel Attention)이 가능하도록 상기 업샘플링 블록으로부터 업샘플링된 상기 특징집합으로부터 제2 채널정보를 생성하고, 상기 제2 채널정보 중에서 제2 주요채널정보를 출력하는 디코더 SE블록; 및3×3 컨볼루션과 Sigmoid 함수를 이용하여 상기 디코더 SE블록으로부터 출력된 상기 제2 주요채널정보의 가중치를 재활성화 하는 디스패리티 컨볼루션 블록;을 더 포함하고, 상기 인코더에 구비된 임의의 특징 레이어로부터 추출된 특징(Feature), 상기 제1 주요채널정보 및 상기 제2 주요채널정보를 모두 이용하여 디코딩하는 것을 특징으로 하는 단안 이미지를 이용한 뎁스 맵 생성 장치.

5

제 4항에 있어서, 상기 디코더 SE블록은,상기 인코더 SE블록과 스킵 연결(Skip-Connected)되는 것을 특징으로 하는 단안 이미지를 이용한 뎁스 맵 생성 장치.

6

제 1항에 있어서, 상기 딥 컨볼루션 신경망(DCNN)은,비지도 학습을 기반으로 학습할 수 있도록 포즈 네트워크(PoseNet)와 깊이 네트워크(DepthNet)를 포함하고, 상기 단안 이미지 내 객체의 모양을 추정하는 것을 특징으로 하는 단안 이미지를 이용한 뎁스 맵 생성 장치.

7

인코더에 의하여, 구비된 특징 레이어 수에 따라서 단안 이미지로부터 하나 이상의 특징(Feature)이 추출되는 인코딩 단계; 및디코더에 의하여, 서로 다른 특징 레이어로부터 추출된 특징(Feature)에서 불일치하는 픽셀의 변위가 산출되고, 상기 단안 이미지에 대한 뎁스 맵(Depth Map)이 생성되는 디코딩 단계;를 포함하고,상기 인코딩 단계는,1/2, 1/4, 1/8, 1/16, 1/32 스케일에서 16, 24, 32, 96, 160 채널을 구비하는 제1 특징 레이어(FL1) 내지 제5 특징 레이어(FL5)로부터 제1 특징(X1) 내지 제5 특징(X5)이 추출되고,상기 디코딩 단계는,상기 디코더 내 인코더 SE블록에 의하여, 채널 어텐션(Channel Attention)이 가능하도록 상기 인코더의 제i 특징 레이어(FLi)로부터 추출된 특징(Xi)과 제i+1 특징 레이어(FLi+1)로부터 추출된 특징(Xi+1)이 평균된 후 압축되어 제1 채널 정보(C1)가 생성되고, 완전연결(Fully-Connected; FC) 함수가 이용되어 상기 제1 채널정보(C1) 중에서 제1 주요채널정보(CA1)가 출력되는 인코더 SE단계;를 포함하는 단안 이미지를 이용한 뎁스 맵 생성 방법.여기서, i=1,2,3,4

도면대표도면