제9 항에 있어서,상기 파라미터 예측 모델은, 복수의 컨볼루션 블록, 평균 풀링층 및 복수의 완전 연결층을 포함하며, 3가지 경우의 훈련 데이터 셋을 이용하여 학습되되,상기 3가지 경우의 훈련 데이터 셋은 상기 가시광 영상과 상기 열 영상이 정상인 경우, 상기 가시광 영상이 정상이고 상기 열 영상이 센서 불능 상태(blackout)인 경우, 상기 가시광 영상이 센서 불능 상태(blackout)이고 상기 열 영상이 정상인 경우에 대해 상기 가시광 영상과 열 영상 페어(pair)로 구성되는 것을 특징으로 하는 강인한 객체 검출을 위한 싱글샷 기반 적응적 융합 장치.

(a) 제1 영상과 제2 영상으로부터 제1 특징맵과 제2 특징맵을 각각 획득하는 단계;(b) 상기 제1 특징맵과 상기 제2 특징맵의 상관 분석 결과를 이용하여 융합 파라미터를 생성하는 단계; 및(c) 상기 융합 파라미터를 이용하여 다른 특징맵을 융합하는 단계를 포함하되,상기 (b) 단계는, 상기 제1 특징맵과 상기 제2 특징맵의 상관 계수를 도출하는 단계; 및상기 도출된 상관 계수를 이용하여 상기 제1 특징맵과 상기 제2 특징맵을 합성(concatenate)하고, 상기 합성된 특징맵을 학습된 파라미터 예측 모델에 적용하여 융합 파라미터를 생성하는 단계를 포함하는 것을 특징으로 하는 강인한 객체 검출을 위한 싱글샷 기반 적응적 융합 방법.

제1 항에 있어서, 상기 제1 영상은 가시광 영상 및 열 영상 중 어느 하나이며,상기 제2 영상은 가시광 영상 및 열 영상 중 다른 하나인 것을 특징으로 하는 강인한 객체 검출을 위한 싱글샷 기반 적응적 융합 방법.

삭제

제2 항에 있어서,상기 파라미터 예측 모델은 3가지 경우의 훈련 데이터 셋을 이용하여 학습되되,상기 3가지 경우의 훈련 데이터 셋은 상기 가시광 영상과 상기 열 영상이 정상인 경우, 상기 가시광 영상이 정상이고 상기 열 영상이 센서 불능 상태(blackout)인 경우, 상기 가시광 영상이 센서 불능 상태(blackout)이고 상기 열 영상이 정상인 경우에 대해 상기 가시광 영상과 열 영상 페어(pair)로 구성되는 것을 특징으로 하는 강인한 객체 검출을 위한 싱글샷 기반 적응적 융합 방법.

제1 항에 있어서,상기 (a) 단계 내지 상기 (b) 단계는, 상기 융합 파라미터에 따라 상기 제1 영상과 상기 제2 영상에 대한 가중치를 다르게 적용하여 융합하는 것을 특징으로 하는 강인한 객체 검출을 위한 싱글샷 기반 적응적 융합 방법.

제1 항에 있어서,상기 제1 특징맵 및 상기 제2 특징맵은 SSD(single shot multibox detector) 기반 다중 특징맵 중 가장 하위 레벨 특징맵인 것을 특징으로 하는 싱글샷 기반 적응적 융합 방법.

제1 항 내지 제2 항, 제4 항 내지 제6 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체 제품.

이종 영상으로부터 제1 특징맵과 제2 특징맵을 각각 획득하는 특징맵 추출부;상기 제1 특징맵과 상기 제2 특징맵의 상관 분석 결과를 이용하여 융합 파라미터를 생성하는 파라미터 생성부; 및상기 융합 파라미터를 이용하여 다른 특징맵을 융합하는 융합부를 포함하되, 상기 파라미터 생성부는, 상기 제1 특징맵과 상기 제2 특징맵의 상관 계수를 도출하는 상관 분석부; 및상기 도출된 상관 계수를 이용하여 상기 제1 특징맵과 상기 제2 특징맵을 합성(concatenate)하고, 상기 합성된 특징맵을 이용하여 융합 파라미터를 생성하는 파라미터 예측 모델을 포함하는 것을 특징으로 하는 강인한 객체 검출을 위한 싱글샷 기반 적응적 융합 장치.

제8 항에 있어서, 상기 이종 영상은 가시광 영상 및 열 영상인 것을 특징으로 하는 강인한 객체 검출을 위한 싱글샷 기반 적응적 융합 장치.

삭제