수중 영상 강건화 및 거리 정보 추정 시스템
UNDERWATER IMAGE ENHANCEMENT AND DEPTH ESTIMATION SYSTEM
특허 요약
본 발명은, 수중 영상 강건화 및 거리 정보 추정 시스템에 관한 것이다. 본 발명에 따르면, 수중 영상 강건화 및 거리 정보 추정 시스템은 수중 영상 강건화(Underwater Image Enhancement, UIE)를 수행하고, 제1 인코딩부 및 제1 디코딩부를 포함하는 영상 강건화부; 및 수중 단안 깊이 추정(Underwater Monocular Depth Estimation, UMDE)을 수행하고, 제2 인코딩부 및 제2 디코딩부를 포함하는 깊이 추정부를 포함하며, 상기 제1 디코딩부와 제2 디코딩부는 각각 상응하는 레이어의 특징을 융합하여 디코딩한다. 이와 같이 본 발명에 따르면, 각 작업의 특성을 공유하는 공동 블록을 설계하여 영상의 강건화와 깊이 추정을 동시에 진행함으로써 각각을 개별적으로 진행할 때보다 더 효과적이고 해저 특징 매칭 및 중요성 예측을 효과적으로 향상시킬 수 있다.
청구항
번호청구항
1

수중 영상 강건화(Underwater Image Enhancement, UIE)를 수행하고, 제1 인코딩부 및 제1 디코딩부를 포함하는 영상 강건화부; 및수중 단안 깊이 추정(Underwater Monocular Depth Estimation, UMDE)을 수행하고, 제2 인코딩부 및 제2 디코딩부를 포함하는 깊이 추정부를 포함하며,상기 영상 강건화부 및 깊이 추정부는 UIE 및 UMDE의 특성을 공유하는 공동 블록을 통해 수중 영상 강건화와 수중 단안 깊이 추정을 동시에 수행하고,상기 제1 디코딩부와 제2 디코딩부는 각각 상응하는 레이어의 특징을 융합하여 디코딩하는 수중 영상 강건화 및 거리 정보 추정 시스템.

2

제 1 항에 있어서,상기 제1 인코딩부 및 제2 인코딩부는, 트랜스포머를 기반으로 인코딩을 수행하는 수중 영상 강건화 및 거리 정보 추정 시스템.

3

제 1 항에 있어서,상기 제1 디코딩부 및 제2 디코딩부는, 초기화 블록, 믹스 디코더 블록을 사용하여 디코딩을 수행하는 수중 영상 강건화 및 거리 정보 추정 시스템.

4

제 3 항에 있어서,상기 초기화 블록은, 두 개의 컨볼루션 블록으로 구성되고 제1 인코딩부 및 제2 인코딩부와 제1 디코딩부 및 제2 디코딩부를 연결하는 역할을 수행하는 수중 영상 강건화 및 거리 정보 추정 시스템.

5

제 3 항에 있어서,상기 제1 디코딩부 및 제2 디코딩부는, 컨볼루션 믹스 블록 및 특징 믹스 블록의 두 섹션으로 구성되는 상기 믹스 디코더 블록으로 각 레이어가 구성되는 수중 영상 강건화 및 거리 정보 추정 시스템.

6

제 3 항에 있어서,상기 믹스 디코더 블록은, 분할 블록과 조인트 블록을 추가로 포함하는 수중 영상 강건화 및 거리 정보 추정 시스템.

7

제 6 항에 있어서,상기 분할 블록은, 상기 믹스 디코더 블록에서 특징을 입력받아 스킵 연결을 위한 부분과 다음 레이어에 대한 입력을 위한 부분으로 나눠지는 수중 영상 강건화 및 거리 정보 추정 시스템.

8

제 6 항에 있어서,상기 조인트 블록은, 상기 영상 강건화부 및 깊이 추정부를 병렬로 결합하여 각 모델에서 깊이 및 왜곡 특징을 추출하고, 물리적 전파 모델을 통해 추출한 특징 세트를 결합하는 수중 영상 강건화 및 거리 정보 추정 시스템.