컬러 이미지와 모노크롬(monochrome) 이미지를 이용하여 스테레오 매칭(stereo matching)을 수행하는 방법에 있어서,(a) 스테레오 카메라를 구성하는 컬러 카메라에 대응되는 학습용 컬러 이미지와 상기 스테레오 카메라를 구성하는 모노크롬 카메라에 대응되는 학습용 모노크롬 이미지를 포함하는 적어도 하나의 학습용 컬러 및 모노크롬 스테레오 페어가 획득되면, 학습 장치가, (i) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 디스패리티 네트워크(disparity network)에 입력하여, 상기 디스패리티 네트워크로 하여금, 상기 학습용 컬러 및 모노크롬 스테레오 페어의 상기 학습용 컬러 이미지와 상기 학습용 모노크롬 이미지 사이의 매칭 코스트에 따라 상기 학습용 모노크롬 이미지에 대응하는 학습용 디스패리티 맵을 생성하도록 하고, (ii) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 오클루션 네트워크(occlusion network)에 입력하여, 상기 오클루션 네트워크로 하여금 상기 학습용 컬러 이미지와 상기 학습용 모노크롬 이미지 사이의 디퍼런스(difference)에 따른 학습용 오클루션 맵(occlusion map)을 생성하도록 하며, (iii) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 디노이징 네트워크(denoising network)에 입력하여, 상기 디노이징 네트워크로 하여금 상기 학습용 컬러 이미지 및 상기 학습용 모노크롬 이미지 각각에서의 노이즈를 제거한 학습용 디노이즈드(denoised) 모노크롬 이미지 및 학습용 디노이즈드 컬러 이미지를 생성하도록 하는 단계; (b) 상기 학습 장치가, (i) (i-1) 상기 학습용 디스패리티 맵을 참조하여 상기 학습용 디노이즈드 컬러 이미지를 와핑(warping)하여 학습용 와프드(warped) 디노이즈드 컬러 이미지를 생성하고, (i-2) 상기 학습용 와프드 디노이즈드 컬러 이미지와 상기 학습용 디노이즈드 모노크롬 이미지를 컨캐터네이션(concatenation)하여 학습용 초기 컬러 복원 이미지를 생성하며, (ii) 상기 학습용 초기 컬러 복원 이미지, 상기 학습용 오클루션 맵 및 상기 학습용 모노크롬 이미지를 컬러화 네트워크(colorization network)에 입력하여, 상기 컬러화 네트워크로 하여금, 상기 오클루션 맵을 참조하여 상기 학습용 초기 컬러 복원 이미지의 컬러 정보에 따라 상기 학습용 모노크롬 이미지의 컬러를 복원하여 학습용 최종 컬러 복원 이미지를 생성하도록 하는 단계; 및(c) 상기 학습 장치가, 상기 학습용 디스패리티 맵과 디스패리티 GT(ground truth) 맵을 참조하여 생성한 제1 로스, 상기 학습용 오클루션 맵과 오클루션 GT 맵을 참조하여 생성한 제2 로스, 상기 학습용 디노이즈드 모노크롬 이미지 및 상기 학습용 디노이즈드 컬러 이미지와 이에 대응하는 디노이즈드 GT 이미지를 참조하여 생성한 제3 로스 및 상기 학습용 최종 컬러 복원 이미지의 학습용 복원 크로미넌스(chrominance) 값과 이에 대응하는 GT 크로미넌스 값을 참조하여 생성한 제4 로스에 각각 가중치를 부여하여 생성한 합산 로스를 이용하여 상기 디스패리티 네트워크, 상기 오클루션 네트워크, 상기 디노이징 네트워크 및 상기 컬러화 네트워크에 포함된 적어도 하나의 파라미터를 학습시키는 단계;를 포함하는 방법.

제1항에 있어서,상기 (a) 단계에서,상기 학습 장치는, 상기 학습용 모노크롬 이미지와 상기 학습용 컬러 이미지를 디스패리티 네트워크에 입력하여, 상기 디스패리티 네트워크로 하여금, (i) 상기 디스패리티 네트워크의 인코더(encoder)에 포함된 제1_1 서브 인코더를 통해 상기 학습용 모노크롬 이미지를 인코딩하여 상기 학습용 모노크롬 이미지에 대한 학습용 제1_1 피쳐 맵(feature map)을 생성하고, 상기 디스패리티 네트워크의 상기 인코더에 포함된 제1_2 서브 인코더를 통해 상기 학습용 컬러 이미지를 인코딩하여 상기 학습용 컬러 이미지에 대한 학습용 제1_2 피쳐 맵을 생성하도록 하며, (ii) 상기 디스패리티 네트워크의 상기 인코더에 포함된 코릴레이션 레이어(correlation layer)를 통해 상기 학습용 제1_1 피쳐 맵과 상기 학습용 제1_2 피쳐 맵에 코릴레이션 연산을 수행하여 상기 매칭 코스트를 연산함으로써 상기 학습용 컬러 및 모노크롬 스테레오 페어에 대응되는 학습용 코릴레이션 피쳐 맵을 생성하고, (iii) 상기 디스패리티 네트워크의 상기 인코더에 포함된 제2 서브 인코더를 통해 상기 학습용 코릴레이션 피쳐 맵을 인코딩하여 학습용 제2 피쳐 맵을 생성하도록 하며, (iv) 상기 디스패리티 네트워크의 디코더(decoder)를 통해 상기 학습용 제2 피쳐 맵을 디코딩하여 상기 학습용 디스패리티 맵을 생성하도록 하는 것을 특징으로 하는 방법.

제2항에 있어서,상기 학습 장치는, 상기 디스패리티 네트워크로 하여금, 상기 코릴레이션 연산으로서 상기 학습용 제1_1 피쳐 맵 상의 적어도 하나의 제1 영역에 포함된 적어도 하나의 제1 패치에 대응하는 학습용 제1 피쳐 벡터와 상기 제1 영역에 대응되는 상기 학습용 제1_2 피쳐 맵 상의 적어도 하나의 제2 영역에 포함된 적어도 하나의 제2 패치에 대응하는 학습용 제2 피쳐 벡터를 내적 연산함으로써 상기 학습용 코릴레이션 피쳐 맵을 생성하도록 하는 것을 특징으로 하는 방법.

제2항에 있어서, 상기 학습 장치는, 상기 디스패리티 네트워크로 하여금, (i) 상기 제1_1 서브 인코더, 상기 제1_2 서브 인코더 및 상기 제2 서브 인코더에 포함된 학습용 제1 인터미디어트 피쳐 맵(intermediate feature map) - 상기 학습용 제1 인터미디어트 피쳐 맵은 상기 학습용 제1_1 피쳐 맵, 상기 학습용 제1_2 피쳐 맵 및 상기 학습용 제2 피쳐 맵을 포함함 - 을 생성하는 적어도 하나의 인코딩 레이어 중 적어도 일부인 소정의 인코딩 레이어에서 생성되는 소정의 학습용 제1 인터미디어트 피쳐 맵을 상기 디코더에 포함되어 상기 학습용 제1 인터미디어트 피쳐 맵에 대응하는 학습용 제2 인터미디어트 피쳐 맵을 생성하는 적어도 하나의 디코딩 레이어 중 상기 소정의 인코딩 레이어에 대응되는 소정의 디코딩 레이어에서 생성되는 소정의 학습용 제2 인터미디어트 피쳐 맵과 컨캐터네이션(concatenation)하여 적어도 하나의 학습용 컨캐터네이션 피쳐 맵을 생성하고, 상기 학습용 컨캐터네이션 피쳐 맵 각각을 상기 학습용 컨캐터네이션 피쳐 맵을 생성하는데 사용된 상기 소정의 학습용 제2 인터미디어트 피쳐 맵에 대응되는 각각의 상기 소정의 디코딩 레이어의 후속 레이어에 입력하도록 하는 것을 특징으로 하는 방법.

제2항에 있어서,상기 학습 장치는, (i) 상기 학습용 디스패리티 맵을 참조하여 상기 학습용 컬러 이미지를 와핑하여 생성한 학습용 와프드(warped) 컬러 이미지 상의 각 픽셀의 픽셀값과 상기 학습용 모노크롬 이미지 상의 각 픽셀의 픽셀값 간의 차이를 계산한 학습용 디퍼런스 맵을 생성하고, (ii) 상기 학습용 디스패리티 맵을 생성하는데 사용한 상기 학습용 제2 피쳐 맵과 상기 학습용 디퍼런스 맵을 상기 오클루션 네트워크에 입력하여, 상기 오클루션 네트워크로 하여금 상기 학습용 디퍼런스 맵에서 추출된 피쳐와 상기 학습용 제2 피쳐 맵의 피쳐를 참조하여 상기 학습용 와프드 컬러 이미지와 상기 학습용 모노크롬 이미지 간의 오클루션을 각 픽셀에 대한 바이너리 값으로 표시한 상기 학습용 오클루션 맵을 생성하도록 하는 것을 특징으로 하는 방법.

제5항에 있어서,상기 학습 장치는, 상기 오클루션 네트워크로 하여금, (i) 상기 오클루션 네트워크의 인코더를 통해 상기 학습용 디퍼런스 맵을 인코딩하여 학습용 제3 피쳐 맵을 생성하도록 하고, (ii) 상기 오클루션 네트워크의 디코더를 통해 상기 학습용 제3 피쳐 맵과 상기 학습용 제2 피쳐 맵을 컨캐터네이션(concatenation)한 다음 디코딩하여 상기 학습용 오클루션 맵을 생성하도록 하는 것을 특징으로 하는 방법.

제1항에 있어서,상기 (a) 단계에서,상기 학습 장치는, 상기 디노이징 네트워크로 하여금, 상기 학습용 모노크롬 이미지와 상기 학습용 컬러 이미지 각각에 적어도 하나의 컨벌루션(convolution) 연산, 적어도 하나의 배치 정규화(batch normalization) 연산 및 적어도 하나의 ReLU 연산을 수행하여 상기 학습용 모노크롬 이미지와 상기 학습용 컬러 이미지 각각으로부터 상기 학습용 모노크롬 이미지와 상기 학습용 컬러 이미지 각각에 대응하는 학습용 레이턴트 노이즈리스 이미지(latent noiseless image)를 제거한 출력을 예측한 학습용 잔차 이미지(residual image)를 획득하고, 상기 학습용 모노크롬 이미지와 상기 학습용 컬러 이미지 각각에 대응하는 상기 학습용 잔차 이미지를 참조하여 상기 학습용 모노크롬 이미지와 상기 학습용 컬러 이미지로부터 상기 노이즈를 제거하여 상기 학습용 디노이즈드 모노크롬 이미지와 상기 학습용 디노이즈드 컬러 이미지를 생성하도록 하는 것을 특징으로 하는 방법.

제1항에 있어서,상기 (b) 단계에서,상기 학습 장치는, 상기 컬러화 네트워크로 하여금, (i) 상기 학습용 오클루션 맵의 오클루션 영역 정보를 참조하여 상기 학습용 초기 컬러 복원 이미지로부터 추출된 적어도 하나의 픽셀 피쳐값에 대한 컬러 블리딩(color bleeding) 오류를 교정하여 교정된 픽셀 피쳐값을 생성하고, (ii) 레퍼런스 이미지(reference image)로 사용되는 상기 학습용 모노크롬 이미지 상에서 적어도 하나의 엣지로 구분된 각 영역의 컬러를 복원하기 위한 상기 각 영역의 컬러 씨드(seed)로써 상기 교정된 픽셀 피쳐값 중 적어도 일부를 이용하여 상기 학습용 모노크롬 이미지 상의 상기 각 픽셀에 대한 최종 컬러 정보를 복원하여 상기 학습용 최종 컬러 복원 이미지를 생성하도록 하는 것을 특징으로 하는 방법.

제1항에 있어서,상기 (b) 단계에서,상기 학습 장치는, 상기 컬러화 네트워크로 하여금, (i) 상기 컬러화 네트워크의 인코더(encoder)를 이용하여 상기 학습용 초기 컬러 복원 이미지, 상기 학습용 오클루션 맵 및 상기 학습용 모노크롬 이미지를 컨캐터네이션(concatenation)한 다음 인코딩하여 학습용 제4 피쳐 맵을 생성하도록 하며, (ii) 상기 컬러화 네트워크의 디코더(decoder)를 이용하여 상기 학습용 제4 피쳐 맵을 디코딩하여 상기 학습용 최종 컬러 복원 이미지를 생성하도록 하는 것을 특징으로 하는 방법.

제1항에 있어서,상기 (b) 단계에서,상기 학습 장치는, 상기 학습용 와프드 디노이즈드 모노크롬 이미지와 상기 학습용 디노이즈드 컬러 이미지를 채널 방향으로 컨캐터네이션하여, 상기 학습용 와프드 디노이즈드 컬러 이미지의 컬러 정보가 크로미넌스(chrominance) 채널인 U 채널과 V 채널을 구성하고 상기 학습용 디노이즈드 모노크롬 이미지의 휘도 정보가 루미넌스(luminance) 채널인 Y 채널을 구성하는 상기 학습용 초기 컬러 복원 이미지를 생성하는 것을 특징으로 하는 방법.

컬러 이미지와 모노크롬(monochrome) 이미지를 이용하여 스테레오 매칭(stereo matching)을 수행하는 방법에 있어서,(a) 스테레오 카메라를 구성하는 컬러 카메라에 대응되는 학습용 컬러 이미지와 상기 스테레오 카메라를 구성하는 모노크롬 카메라에 대응되는 학습용 모노크롬 이미지를 포함하는 적어도 하나의 학습용 컬러 및 모노크롬 스테레오 페어가 획득되면, 학습 장치가, (1) (i) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 디스패리티 네트워크(disparity network)에 입력하여, 상기 디스패리티 네트워크로 하여금, 상기 학습용 컬러 및 모노크롬 스테레오 페어의 상기 학습용 컬러 이미지와 상기 학습용 모노크롬 이미지 사이의 매칭 코스트에 따라 상기 학습용 모노크롬 이미지에 대응하는 학습용 디스패리티 맵을 생성하도록 하고, (ii) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 오클루션 네트워크(occlusion network)에 입력하여, 상기 오클루션 네트워크로 하여금 상기 학습용 컬러 이미지와 상기 학습용 모노크롬 이미지 사이의 디퍼런스(difference)에 따른 학습용 오클루션 맵(occlusion map)을 생성하도록 하며, (iii) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 디노이징 네트워크(denoising network)에 입력하여, 상기 디노이징 네트워크로 하여금 상기 학습용 컬러 이미지 및 상기 학습용 모노크롬 이미지 각각에서의 노이즈를 제거한 학습용 디노이즈드(denoised) 모노크롬 이미지 및 학습용 디노이즈드 컬러 이미지를 생성하도록 하는 프로세스, (2) (i) (i-1) 상기 학습용 디스패리티 맵을 참조하여 상기 학습용 디노이즈드 컬러 이미지를 와핑(warping)하여 학습용 와프드(warped) 디노이즈드 컬러 이미지를 생성하고, (i-2) 상기 학습용 와프드 디노이즈드 컬러 이미지와 상기 학습용 디노이즈드 모노크롬 이미지를 컨캐터네이션(concatenation)하여 학습용 초기 컬러 복원 이미지를 생성하며, (ii) 상기 학습용 초기 컬러 복원 이미지, 상기 학습용 오클루션 맵 및 상기 학습용 모노크롬 이미지를 컬러화 네트워크(colorization network)에 입력하여, 상기 컬러화 네트워크로 하여금, 상기 오클루션 맵을 참조하여 상기 학습용 초기 컬러 복원 이미지의 컬러 정보에 따라 상기 학습용 모노크롬 이미지의 컬러를 복원하여 학습용 최종 컬러 복원 이미지를 생성하도록 하는 프로세스, 및 (3) 상기 학습용 디스패리티 맵과 디스패리티 GT(ground truth) 맵을 참조하여 생성한 제1 로스, 상기 학습용 오클루션 맵과 오클루션 GT 맵을 참조하여 생성한 제2 로스, 상기 학습용 디노이즈드 모노크롬 이미지 및 상기 학습용 디노이즈드 컬러 이미지와 이에 대응하는 디노이즈드 GT 이미지를 참조하여 생성한 제3 로스 및 상기 학습용 최종 컬러 복원 이미지의 학습용 복원 크로미넌스(chrominance) 값과 이에 대응하는 GT 크로미넌스 값을 참조하여 생성한 제4 로스에 각각 가중치를 부여하여 생성한 합산 로스를 이용하여 상기 디스패리티 네트워크, 상기 오클루션 네트워크, 상기 디노이징 네트워크 및 상기 컬러화 네트워크에 포함된 적어도 하나의 파라미터를 학습시키는 프로세스를 수행한 상태에서, 테스트 장치가, 상기 스테레오 카메라를 구성하는 상기 컬러 카메라에 대응되는 테스트용 컬러 이미지와 상기 스테레오 카메라를 구성하는 상기 모노크롬 카메라에 대응되는 테스트용 모노크롬 이미지를 포함하는 적어도 하나의 테스트용 컬러 및 모노크롬 스테레오 페어를 획득하는 단계;(b) 상기 테스트 장치가, (i) 상기 테스트용 컬러 및 모노크롬 스테레오 페어를 상기 디스패리티 네트워크에 입력하여, 상기 디스패리티 네트워크로 하여금, 상기 테스트용 컬러 및 모노크롬 스테레오 페어의 상기 테스트용 컬러 이미지와 상기 테스트용 모노크롬 이미지 사이의 매칭 코스트에 따라 상기 테스트용 모노크롬 이미지에 대응하는 테스트용 디스패리티 맵을 생성하도록 하고, (ii) 상기 테스트용 컬러 및 모노크롬 스테레오 페어를 상기 오클루션 네트워크에 입력하여, 상기 오클루션 네트워크로 하여금 상기 테스트용 컬러 이미지와 상기 테스트용 모노크롬 이미지 사이의 디퍼런스에 따른 테스트용 오클루션 맵을 생성하도록 하며, (iii) 상기 테스트용 컬러 및 모노크롬 스테레오 페어를 상기 디노이징 네트워크에 입력하여, 상기 디노이징 네트워크로 하여금 상기 테스트용 컬러 이미지 및 상기 테스트용 모노크롬 이미지 각각에서의 노이즈를 제거한 테스트용 디노이즈드 모노크롬 이미지 및 테스트용 디노이즈드 컬러 이미지를 생성하도록 하는 단계; 및(c) 상기 테스트 장치가, (i) (i-1) 상기 테스트용 디스패리티 맵을 참조하여 상기 테스트용 디노이즈드 컬러 이미지를 와핑하여 테스트용 와프드 디노이즈드 컬러 이미지를 생성하고, (i-2) 상기 테스트용 와프드 디노이즈드 컬러 이미지와 상기 테스트용 디노이즈드 모노크롬 이미지를 컨캐터네이션하여 테스트용 초기 컬러 복원 이미지를 생성하며, (ii) 상기 테스트용 초기 컬러 복원 이미지, 상기 테스트용 오클루션 맵 및 상기 테스트용 모노크롬 이미지를 상기 컬러화 네트워크에 입력하여, 상기 컬러화 네트워크로 하여금, 상기 오클루션 맵을 참조하여 상기 테스트용 초기 컬러 복원 이미지의 컬러 정보에 따라 상기 테스트용 모노크롬 이미지의 컬러를 복원하여 테스트용 최종 컬러 복원 이미지를 생성하도록 하는 단계;를 포함하는 방법.

제11항에 있어서,상기 (b) 단계에서,상기 테스트 장치는, 상기 테스트용 모노크롬 이미지와 상기 테스트용 컬러 이미지를 디스패리티 네트워크에 입력하여, 상기 디스패리티 네트워크로 하여금, (i) 상기 디스패리티 네트워크의 인코더(encoder)에 포함된 제1_1 서브 인코더를 통해 상기 테스트용 모노크롬 이미지를 인코딩하여 상기 테스트용 모노크롬 이미지에 대한 테스트용 제1_1 피쳐 맵(feature map)을 생성하고, 상기 디스패리티 네트워크의 상기 인코더에 포함된 제1_2 서브 인코더를 통해 상기 테스트용 컬러 이미지를 인코딩하여 상기 테스트용 컬러 이미지에 대한 테스트용 제1_2 피쳐 맵을 생성하도록 하며, (ii) 상기 디스패리티 네트워크의 상기 인코더에 포함된 코릴레이션 레이어(correlation layer)를 통해 상기 테스트용 제1_1 피쳐 맵과 상기 테스트용 제1_2 피쳐 맵에 코릴레이션 연산을 수행하여 상기 매칭 코스트를 연산함으로써 상기 테스트용 컬러 및 모노크롬 스테레오 페어에 대응되는 테스트용 코릴레이션 피쳐 맵을 생성하고, (iii) 상기 디스패리티 네트워크의 상기 인코더에 포함된 제2 서브 인코더를 통해 상기 테스트용 코릴레이션 피쳐 맵을 인코딩하여 테스트용 제2 피쳐 맵을 생성하도록 하며, (iv) 상기 디스패리티 네트워크의 디코더(decoder)를 통해 상기 테스트용 제2 피쳐 맵을 디코딩하여 상기 테스트용 디스패리티 맵을 생성하도록 하는 것을 특징으로 하는 방법.

제12항에 있어서,상기 테스트 장치는, 상기 디스패리티 네트워크로 하여금, 상기 코릴레이션 연산으로서 상기 테스트용 제1_1 피쳐 맵 상의 적어도 하나의 제1 영역에 포함된 적어도 하나의 제1 패치에 대응하는 테스트용 제1 피쳐 벡터와 상기 제1 영역에 대응되는 상기 테스트용 제1_2 피쳐 맵 상의 적어도 하나의 제2 영역에 포함된 적어도 하나의 제2 패치에 대응하는 테스트용 제2 피쳐 벡터를 내적 연산함으로써 상기 테스트용 코릴레이션 피쳐 맵을 생성하도록 하는 것을 특징으로 하는 방법.

제12항에 있어서,상기 테스트 장치는, (i) 상기 테스트용 디스패리티 맵을 참조하여 상기 테스트용 컬러 이미지를 와핑하여 생성한 테스트용 와프드(warped) 컬러 이미지 상의 각 픽셀의 픽셀값과 상기 테스트용 모노크롬 이미지 상의 각 픽셀의 픽셀값 간의 차이를 계산한 테스트용 디퍼런스 맵을 생성하고, (ii) 상기 테스트용 디스패리티 맵을 생성하는데 사용한 상기 테스트용 제2 피쳐 맵과 상기 테스트용 디퍼런스 맵을 상기 오클루션 네트워크에 입력하여, 상기 오클루션 네트워크로 하여금 상기 테스트용 디퍼런스 맵에서 추출된 피쳐와 상기 테스트용 제2 피쳐 맵의 피쳐를 참조하여 상기 테스트용 와프드 컬러 이미지와 상기 테스트용 모노크롬 이미지 간의 오클루션을 각 픽셀에 대한 바이너리 값으로 표시한 상기 테스트용 오클루션 맵을 생성하도록 하는 것을 특징으로 하는 방법.

컬러 이미지와 모노크롬(monochrome) 이미지를 이용하여 스테레오 매칭(stereo matching)을 수행하는 학습 장치에 있어서,컬러 이미지와 모노크롬 이미지를 이용하여 스테레오 매칭을 수행하기 위한 인스트럭션들이 저장된 메모리; 및상기 메모리에 저장된 상기 인스트럭션들에 따라 컬러 이미지와 모노크롬 이미지를 이용하여 스테레오 매칭을 수행하기 위한 동작을 수행하는 프로세서;를 포함하되,상기 프로세서는, (I) 스테레오 카메라를 구성하는 컬러 카메라에 대응되는 학습용 컬러 이미지와 상기 스테레오 카메라를 구성하는 모노크롬 카메라에 대응되는 학습용 모노크롬 이미지를 포함하는 적어도 하나의 학습용 컬러 및 모노크롬 스테레오 페어가 획득되면, (i) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 디스패리티 네트워크(disparity network)에 입력하여, 상기 디스패리티 네트워크로 하여금, 상기 학습용 컬러 및 모노크롬 스테레오 페어의 상기 학습용 컬러 이미지와 상기 학습용 모노크롬 이미지 사이의 매칭 코스트에 따라 상기 학습용 모노크롬 이미지에 대응하는 학습용 디스패리티 맵을 생성하도록 하고, (ii) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 오클루션 네트워크(occlusion network)에 입력하여, 상기 오클루션 네트워크로 하여금 상기 학습용 컬러 이미지와 상기 학습용 모노크롬 이미지 사이의 디퍼런스(difference)에 따른 학습용 오클루션 맵(occlusion map)을 생성하도록 하며, (iii) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 디노이징 네트워크(denoising network)에 입력하여, 상기 디노이징 네트워크로 하여금 상기 학습용 컬러 이미지 및 상기 학습용 모노크롬 이미지 각각에서의 노이즈를 제거한 학습용 디노이즈드(denoised) 모노크롬 이미지 및 학습용 디노이즈드 컬러 이미지를 생성하도록 하는 프로세스, (II) (i) (i-1) 상기 학습용 디스패리티 맵을 참조하여 상기 학습용 디노이즈드 컬러 이미지를 와핑(warping)하여 학습용 와프드(warped) 디노이즈드 컬러 이미지를 생성하고, (i-2) 상기 학습용 와프드 디노이즈드 컬러 이미지와 상기 학습용 디노이즈드 모노크롬 이미지를 컨캐터네이션(concatenation)하여 학습용 초기 컬러 복원 이미지를 생성하며, (ii) 상기 학습용 초기 컬러 복원 이미지, 상기 학습용 오클루션 맵 및 상기 학습용 모노크롬 이미지를 컬러화 네트워크(colorization network)에 입력하여, 상기 컬러화 네트워크로 하여금, 상기 오클루션 맵을 참조하여 상기 학습용 초기 컬러 복원 이미지의 컬러 정보에 따라 상기 학습용 모노크롬 이미지의 컬러를 복원하여 학습용 최종 컬러 복원 이미지를 생성하도록 하는 프로세스, 및 (III) 상기 학습용 디스패리티 맵과 디스패리티 GT(ground truth) 맵을 참조하여 생성한 제1 로스, 상기 학습용 오클루션 맵과 오클루션 GT 맵을 참조하여 생성한 제2 로스, 상기 학습용 디노이즈드 모노크롬 이미지 및 상기 학습용 디노이즈드 컬러 이미지와 이에 대응하는 디노이즈드 GT 이미지를 참조하여 생성한 제3 로스 및 상기 학습용 최종 컬러 복원 이미지의 학습용 복원 크로미넌스(chrominance) 값과 이에 대응하는 GT 크로미넌스 값을 참조하여 생성한 제4 로스에 각각 가중치를 부여하여 생성한 합산 로스를 이용하여 상기 디스패리티 네트워크, 상기 오클루션 네트워크, 상기 디노이징 네트워크 및 상기 컬러화 네트워크에 포함된 적어도 하나의 파라미터를 학습시키는 프로세스를 수행하는 학습 장치.

제15항에 있어서,상기 (I) 프로세스에서,상기 프로세서는, 상기 학습용 모노크롬 이미지와 상기 학습용 컬러 이미지를 디스패리티 네트워크에 입력하여, 상기 디스패리티 네트워크로 하여금, (i) 상기 디스패리티 네트워크의 인코더(encoder)에 포함된 제1_1 서브 인코더를 통해 상기 학습용 모노크롬 이미지를 인코딩하여 상기 학습용 모노크롬 이미지에 대한 학습용 제1_1 피쳐 맵(feature map)을 생성하고, 상기 디스패리티 네트워크의 상기 인코더에 포함된 제1_2 서브 인코더를 통해 상기 학습용 컬러 이미지를 인코딩하여 상기 학습용 컬러 이미지에 대한 학습용 제1_2 피쳐 맵을 생성하도록 하며, (ii) 상기 디스패리티 네트워크의 상기 인코더에 포함된 코릴레이션 레이어(correlation layer)를 통해 상기 학습용 제1_1 피쳐 맵과 상기 학습용 제1_2 피쳐 맵에 코릴레이션 연산을 수행하여 상기 매칭 코스트를 연산함으로써 상기 학습용 컬러 및 모노크롬 스테레오 페어에 대응되는 학습용 코릴레이션 피쳐 맵을 생성하고, (iii) 상기 디스패리티 네트워크의 상기 인코더에 포함된 제2 서브 인코더를 통해 상기 학습용 코릴레이션 피쳐 맵을 인코딩하여 학습용 제2 피쳐 맵을 생성하도록 하며, (iv) 상기 디스패리티 네트워크의 디코더(decoder)를 통해 상기 학습용 제2 피쳐 맵을 디코딩하여 상기 학습용 디스패리티 맵을 생성하도록 하는 것을 특징으로 하는 학습 장치.

제16항에 있어서,상기 프로세서는, 상기 디스패리티 네트워크로 하여금, 상기 코릴레이션 연산으로서 상기 학습용 제1_1 피쳐 맵 상의 적어도 하나의 제1 영역에 포함된 적어도 하나의 제1 패치에 대응하는 학습용 제1 피쳐 벡터와 상기 제1 영역에 대응되는 상기 학습용 제1_2 피쳐 맵 상의 적어도 하나의 제2 영역에 포함된 적어도 하나의 제2 패치에 대응하는 학습용 제2 피쳐 벡터를 내적 연산함으로써 상기 학습용 코릴레이션 피쳐 맵을 생성하도록 하는 것을 특징으로 하는 학습 장치.

제16항에 있어서, 상기 프로세서는, 상기 디스패리티 네트워크로 하여금, (i) 상기 제1_1 서브 인코더, 상기 제1_2 서브 인코더 및 상기 제2 서브 인코더에 포함된 학습용 제1 인터미디어트 피쳐 맵(intermediate feature map) - 상기 학습용 제1 인터미디어트 피쳐 맵은 상기 학습용 제1_1 피쳐 맵, 상기 학습용 제1_2 피쳐 맵 및 상기 학습용 제2 피쳐 맵을 포함함 - 을 생성하는 적어도 하나의 인코딩 레이어 중 적어도 일부인 소정의 인코딩 레이어에서 생성되는 소정의 학습용 제1 인터미디어트 피쳐 맵을 상기 디코더에 포함되어 상기 학습용 제1 인터미디어트 피쳐 맵에 대응하는 학습용 제2 인터미디어트 피쳐 맵을 생성하는 적어도 하나의 디코딩 레이어 중 상기 소정의 인코딩 레이어에 대응되는 소정의 디코딩 레이어에서 생성되는 소정의 학습용 제2 인터미디어트 피쳐 맵과 컨캐터네이션(concatenation)하여 적어도 하나의 학습용 컨캐터네이션 피쳐 맵을 생성하고, 상기 학습용 컨캐터네이션 피쳐 맵 각각을 상기 학습용 컨캐터네이션 피쳐 맵을 생성하는데 사용된 상기 소정의 학습용 제2 인터미디어트 피쳐 맵에 대응되는 각각의 상기 소정의 디코딩 레이어의 후속 레이어에 입력하도록 하는 것을 특징으로 하는 학습 장치.

제16항에 있어서,상기 프로세서는, (i) 상기 학습용 디스패리티 맵을 참조하여 상기 학습용 컬러 이미지를 와핑하여 생성한 학습용 와프드(warped) 컬러 이미지 상의 각 픽셀의 픽셀값과 상기 학습용 모노크롬 이미지 상의 각 픽셀의 픽셀값 간의 차이를 계산한 학습용 디퍼런스 맵을 생성하고, (ii) 상기 학습용 디스패리티 맵을 생성하는데 사용한 상기 학습용 제2 피쳐 맵과 상기 학습용 디퍼런스 맵을 상기 오클루션 네트워크에 입력하여, 상기 오클루션 네트워크로 하여금 상기 학습용 디퍼런스 맵에서 추출된 피쳐와 상기 학습용 제2 피쳐 맵의 피쳐를 참조하여 상기 학습용 와프드 컬러 이미지와 상기 학습용 모노크롬 이미지 간의 오클루션을 각 픽셀에 대한 바이너리 값으로 표시한 상기 학습용 오클루션 맵을 생성하도록 하는 것을 특징으로 하는 학습 장치.

제19항에 있어서,상기 프로세서는, 상기 오클루션 네트워크로 하여금, (i) 상기 오클루션 네트워크의 인코더를 통해 상기 학습용 디퍼런스 맵을 인코딩하여 학습용 제3 피쳐 맵을 생성하도록 하고, (ii) 상기 오클루션 네트워크의 디코더를 통해 상기 학습용 제3 피쳐 맵과 상기 학습용 제2 피쳐 맵을 컨캐터네이션(concatenation)한 다음 디코딩하여 상기 학습용 오클루션 맵을 생성하도록 하는 것을 특징으로 하는 학습 장치.

제15항에 있어서,상기 (I) 프로세스에서,상기 프로세서는, 상기 디노이징 네트워크로 하여금, 상기 학습용 모노크롬 이미지와 상기 학습용 컬러 이미지 각각에 적어도 하나의 컨벌루션(convolution) 연산, 적어도 하나의 배치 정규화(batch normalization) 연산 및 적어도 하나의 ReLU 연산을 수행하여 상기 학습용 모노크롬 이미지와 상기 학습용 컬러 이미지 각각으로부터 상기 학습용 모노크롬 이미지와 상기 학습용 컬러 이미지 각각에 대응하는 학습용 레이턴트 노이즈리스 이미지(latent noiseless image)를 제거한 출력을 예측한 학습용 잔차 이미지(residual image)를 획득하고, 상기 학습용 모노크롬 이미지와 상기 학습용 컬러 이미지 각각에 대응하는 상기 학습용 잔차 이미지를 참조하여 상기 학습용 모노크롬 이미지와 상기 학습용 컬러 이미지로부터 상기 노이즈를 제거하여 상기 학습용 디노이즈드 모노크롬 이미지와 상기 학습용 디노이즈드 컬러 이미지를 생성하도록 하는 것을 특징으로 하는 학습 장치.

제15항에 있어서,상기 (II) 프로세스에서,상기 프로세서는, 상기 컬러화 네트워크로 하여금, (i) 상기 학습용 오클루션 맵의 오클루션 영역 정보를 참조하여 상기 학습용 초기 컬러 복원 이미지로부터 추출된 적어도 하나의 픽셀 피쳐값에 대한 컬러 블리딩(color bleeding) 오류를 교정하여 교정된 픽셀 피쳐값을 생성하고, (ii) 레퍼런스 이미지(reference image)로 사용되는 상기 학습용 모노크롬 이미지 상에서 적어도 하나의 엣지로 구분된 각 영역의 컬러를 복원하기 위한 상기 각 영역의 컬러 씨드(seed)로써 상기 교정된 픽셀 피쳐값 중 적어도 일부를 이용하여 상기 학습용 모노크롬 이미지 상의 상기 각 픽셀에 대한 최종 컬러 정보를 복원하여 상기 학습용 최종 컬러 복원 이미지를 생성하도록 하는 것을 특징으로 하는 학습 장치.

제15항에 있어서,상기 (II) 프로세스에서,상기 프로세서는, 상기 컬러화 네트워크로 하여금, (i) 상기 컬러화 네트워크의 인코더(encoder)를 이용하여 상기 학습용 초기 컬러 복원 이미지, 상기 학습용 오클루션 맵 및 상기 학습용 모노크롬 이미지를 컨캐터네이션(concatenation)한 다음 인코딩하여 학습용 제4 피쳐 맵을 생성하도록 하며, (ii) 상기 컬러화 네트워크의 디코더(decoder)를 이용하여 상기 학습용 제4 피쳐 맵을 디코딩하여 상기 학습용 최종 컬러 복원 이미지를 생성하도록 하는 것을 특징으로 하는 학습 장치.

제15항에 있어서,상기 (II) 프로세스에서,상기 프로세서는, 상기 학습용 와프드 디노이즈드 모노크롬 이미지와 상기 학습용 디노이즈드 컬러 이미지를 채널 방향으로 컨캐터네이션하여, 상기 학습용 와프드 디노이즈드 컬러 이미지의 컬러 정보가 크로미넌스(chrominance) 채널인 U 채널과 V 채널을 구성하고 상기 학습용 디노이즈드 모노크롬 이미지의 휘도 정보가 루미넌스(luminance) 채널인 Y 채널을 구성하는 상기 학습용 초기 컬러 복원 이미지를 생성하는 것을 특징으로 하는 학습 장치.

컬러 이미지와 모노크롬(monochrome) 이미지를 이용하여 스테레오 매칭(stereo matching)을 수행하는 테스트 장치에 있어서,컬러 이미지와 모노크롬 이미지를 이용하여 스테레오 매칭을 수행하기 위한 인스트럭션들이 저장된 메모리; 및상기 메모리에 저장된 상기 인스트럭션들에 따라 컬러 이미지와 모노크롬 이미지를 이용하여 스테레오 매칭을 수행하기 위한 동작을 수행하는 프로세서;를 포함하되,상기 프로세서는, (I) 스테레오 카메라를 구성하는 컬러 카메라에 대응되는 학습용 컬러 이미지와 상기 스테레오 카메라를 구성하는 모노크롬 카메라에 대응되는 학습용 모노크롬 이미지를 포함하는 적어도 하나의 학습용 컬러 및 모노크롬 스테레오 페어가 획득되면, 학습 장치가, (1) (i) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 디스패리티 네트워크(disparity network)에 입력하여, 상기 디스패리티 네트워크로 하여금, 상기 학습용 컬러 및 모노크롬 스테레오 페어의 상기 학습용 컬러 이미지와 상기 학습용 모노크롬 이미지 사이의 매칭 코스트에 따라 상기 학습용 모노크롬 이미지에 대응하는 학습용 디스패리티 맵을 생성하도록 하고, (ii) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 오클루션 네트워크(occlusion network)에 입력하여, 상기 오클루션 네트워크로 하여금 상기 학습용 컬러 이미지와 상기 학습용 모노크롬 이미지 사이의 디퍼런스(difference)에 따른 학습용 오클루션 맵(occlusion map)을 생성하도록 하며, (iii) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 디노이징 네트워크(denoising network)에 입력하여, 상기 디노이징 네트워크로 하여금 상기 학습용 컬러 이미지 및 상기 학습용 모노크롬 이미지 각각에서의 노이즈를 제거한 학습용 디노이즈드(denoised) 모노크롬 이미지 및 학습용 디노이즈드 컬러 이미지를 생성하도록 하는 프로세스, (2) (i) (i-1) 상기 학습용 디스패리티 맵을 참조하여 상기 학습용 디노이즈드 컬러 이미지를 와핑(warping)하여 학습용 와프드(warped) 디노이즈드 컬러 이미지를 생성하고, (i-2) 상기 학습용 와프드 디노이즈드 컬러 이미지와 상기 학습용 디노이즈드 모노크롬 이미지를 컨캐터네이션(concatenation)하여 학습용 초기 컬러 복원 이미지를 생성하며, (ii) 상기 학습용 초기 컬러 복원 이미지, 상기 학습용 오클루션 맵 및 상기 학습용 모노크롬 이미지를 컬러화 네트워크(colorization network)에 입력하여, 상기 컬러화 네트워크로 하여금, 상기 오클루션 맵을 참조하여 상기 학습용 초기 컬러 복원 이미지의 컬러 정보에 따라 상기 학습용 모노크롬 이미지의 컬러를 복원하여 학습용 최종 컬러 복원 이미지를 생성하도록 하는 프로세스, 및 (3) 상기 학습용 디스패리티 맵과 디스패리티 GT(ground truth) 맵을 참조하여 생성한 제1 로스, 상기 학습용 오클루션 맵과 오클루션 GT 맵을 참조하여 생성한 제2 로스, 상기 학습용 디노이즈드 모노크롬 이미지 및 상기 학습용 디노이즈드 컬러 이미지와 이에 대응하는 디노이즈드 GT 이미지를 참조하여 생성한 제3 로스 및 상기 학습용 최종 컬러 복원 이미지의 학습용 복원 크로미넌스(chrominance) 값과 이에 대응하는 GT 크로미넌스 값을 참조하여 생성한 제4 로스에 각각 가중치를 부여하여 생성한 합산 로스를 이용하여 상기 디스패리티 네트워크, 상기 오클루션 네트워크, 상기 디노이징 네트워크 및 상기 컬러화 네트워크에 포함된 적어도 하나의 파라미터를 학습시키는 프로세스를 수행한 상태에서, 상기 스테레오 카메라를 구성하는 상기 컬러 카메라에 대응되는 테스트용 컬러 이미지와 상기 스테레오 카메라를 구성하는 상기 모노크롬 카메라에 대응되는 테스트용 모노크롬 이미지를 포함하는 적어도 하나의 테스트용 컬러 및 모노크롬 스테레오 페어를 획득하는 프로세스, (II) (i) 상기 테스트용 컬러 및 모노크롬 스테레오 페어를 상기 디스패리티 네트워크에 입력하여, 상기 디스패리티 네트워크로 하여금, 상기 테스트용 컬러 및 모노크롬 스테레오 페어의 상기 테스트용 컬러 이미지와 상기 테스트용 모노크롬 이미지 사이의 매칭 코스트에 따라 상기 테스트용 모노크롬 이미지에 대응하는 테스트용 디스패리티 맵을 생성하도록 하고, (ii) 상기 테스트용 컬러 및 모노크롬 스테레오 페어를 상기 오클루션 네트워크에 입력하여, 상기 오클루션 네트워크로 하여금 상기 테스트용 컬러 이미지와 상기 테스트용 모노크롬 이미지 사이의 디퍼런스에 따른 테스트용 오클루션 맵을 생성하도록 하며, (iii) 상기 테스트용 컬러 및 모노크롬 스테레오 페어를 상기 디노이징 네트워크에 입력하여, 상기 디노이징 네트워크로 하여금 상기 테스트용 컬러 이미지 및 상기 테스트용 모노크롬 이미지 각각에서의 노이즈를 제거한 테스트용 디노이즈드 모노크롬 이미지 및 테스트용 디노이즈드 컬러 이미지를 생성하도록 하는 프로세스, 및 (III) (i) (i-1) 상기 테스트용 디스패리티 맵을 참조하여 상기 테스트용 디노이즈드 컬러 이미지를 와핑하여 테스트용 와프드 디노이즈드 컬러 이미지를 생성하고, (i-2) 상기 테스트용 와프드 디노이즈드 컬러 이미지와 상기 테스트용 디노이즈드 모노크롬 이미지를 컨캐터네이션하여 테스트용 초기 컬러 복원 이미지를 생성하며, (ii) 상기 테스트용 초기 컬러 복원 이미지, 상기 테스트용 오클루션 맵 및 상기 테스트용 모노크롬 이미지를 상기 컬러화 네트워크에 입력하여, 상기 컬러화 네트워크로 하여금, 상기 오클루션 맵을 참조하여 상기 테스트용 초기 컬러 복원 이미지의 컬러 정보에 따라 상기 테스트용 모노크롬 이미지의 컬러를 복원하여 테스트용 최종 컬러 복원 이미지를 생성하도록 하는 프로세스를 수행하는 테스트 장치.

제25항에 있어서,상기 (II) 프로세스에서,상기 프로세서는, 상기 테스트용 모노크롬 이미지와 상기 테스트용 컬러 이미지를 디스패리티 네트워크에 입력하여, 상기 디스패리티 네트워크로 하여금, (i) 상기 디스패리티 네트워크의 인코더(encoder)에 포함된 제1_1 서브 인코더를 통해 상기 테스트용 모노크롬 이미지를 인코딩하여 상기 테스트용 모노크롬 이미지에 대한 테스트용 제1_1 피쳐 맵(feature map)을 생성하고, 상기 디스패리티 네트워크의 상기 인코더에 포함된 제1_2 서브 인코더를 통해 상기 테스트용 컬러 이미지를 인코딩하여 상기 테스트용 컬러 이미지에 대한 테스트용 제1_2 피쳐 맵을 생성하도록 하며, (ii) 상기 디스패리티 네트워크의 상기 인코더에 포함된 코릴레이션 레이어(correlation layer)를 통해 상기 테스트용 제1_1 피쳐 맵과 상기 테스트용 제1_2 피쳐 맵에 코릴레이션 연산을 수행하여 상기 매칭 코스트를 연산함으로써 상기 테스트용 컬러 및 모노크롬 스테레오 페어에 대응되는 테스트용 코릴레이션 피쳐 맵을 생성하고, (iii) 상기 디스패리티 네트워크의 상기 인코더에 포함된 제2 서브 인코더를 통해 상기 테스트용 코릴레이션 피쳐 맵을 인코딩하여 테스트용 제2 피쳐 맵을 생성하도록 하며, (iv) 상기 디스패리티 네트워크의 디코더(decoder)를 통해 상기 테스트용 제2 피쳐 맵을 디코딩하여 상기 테스트용 디스패리티 맵을 생성하도록 하는 것을 특징으로 하는 테스트 장치.

제26항에 있어서,상기 프로세서는, 상기 디스패리티 네트워크로 하여금, 상기 코릴레이션 연산으로서 상기 테스트용 제1_1 피쳐 맵 상의 적어도 하나의 제1 영역에 포함된 적어도 하나의 제1 패치에 대응하는 테스트용 제1 피쳐 벡터와 상기 제1 영역에 대응되는 상기 테스트용 제1_2 피쳐 맵 상의 적어도 하나의 제2 영역에 포함된 적어도 하나의 제2 패치에 대응하는 테스트용 제2 피쳐 벡터를 내적 연산함으로써 상기 테스트용 코릴레이션 피쳐 맵을 생성하도록 하는 것을 특징으로 하는 테스트 장치.

제26항에 있어서,상기 프로세서는, (i) 상기 테스트용 디스패리티 맵을 참조하여 상기 테스트용 컬러 이미지를 와핑하여 생성한 테스트용 와프드(warped) 컬러 이미지 상의 각 픽셀의 픽셀값과 상기 테스트용 모노크롬 이미지 상의 각 픽셀의 픽셀값 간의 차이를 계산한 테스트용 디퍼런스 맵을 생성하고, (ii) 상기 테스트용 디스패리티 맵을 생성하는데 사용한 상기 테스트용 제2 피쳐 맵과 상기 테스트용 디퍼런스 맵을 상기 오클루션 네트워크에 입력하여, 상기 오클루션 네트워크로 하여금 상기 테스트용 디퍼런스 맵에서 추출된 피쳐와 상기 테스트용 제2 피쳐 맵의 피쳐를 참조하여 상기 테스트용 와프드 컬러 이미지와 상기 테스트용 모노크롬 이미지 간의 오클루션을 각 픽셀에 대한 바이너리 값으로 표시한 상기 테스트용 오클루션 맵을 생성하도록 하는 것을 특징으로 하는 테스트 장치.