이미지의 정합 여부를 식별하는 방법에 있어서,서로 다른 파장 대역의 광들로부터 제1 이미지 패치 및 제2 이미지 패치를 획득하는 단계;상기 제1 이미지 패치 및 제2 이미지 패치를 미리 설정된 파장 대역의 이미지 특성을 나타내도록 변환하는 단계;상기 획득된 제1 이미지 패치 및 상기 획득된 제2 이미지 패치로부터 특징 벡터를 추출하는 단계;상기 변환된 제1 이미지 패치 및 상기 변환된 제2 이미지 패치로부터 특징 벡터를 추출하는 단계; 및상기 획득된 제1 이미지 패치, 상기 획득된 제2 이미지 패치, 상기 변환된 제1 이미지 패치 및 상기 변환된 제2 이미지 패치 각각으로부터 추출된 특징 벡터를 제1 신경망 모델에 입력함으로써, 상기 제1 이미지 패치 및 상기 제2 이미지 패치의 정합 여부를 식별하는 단계; 를 포함하는, 방법.

삭제

제1항에 있어서, 상기 획득하는 단계는제1 파장 대역의 광들로부터 제1 이미지 및 제2 파장 대역의 광들로부터 제2 이미지를 획득하는 단계;상기 제1 이미지 및 상기 제2 이미지 내 각각의 픽셀 값에 기초하여, 상기 제1 이미지 및 상기 제2 이미지 각각으로부터 특징점을 추출하는 단계; 및상기 추출된 특징점을 포함하는 이미지의 일부 영역을 상기 제1 이미지 패치 및 상기 제2 이미지 패치로 획득하는 단계; 를 포함하는, 방법.

제1항에 있어서, 상기 변환하는 단계는제1 파장 대역의 이미지 특성을 나타내는 제1 이미지 패치가 입력되는 경우, 제2 파장 대역의 이미지 특성을 나타내는 이미지 패치를 출력하는 제2 신경망 모델을 이용하여, 상기 제1 이미지 패치를 변환하는 단계; 및제2 파장 대역의 이미지 특성을 나타내는 제2 이미지 패치가 입력되는 경우, 상기 제1 파장 대역의 이미지 특성을 나타내는 이미지 패치를 출력하는 제3 신경망 모델을 이용하여, 상기 제2 이미지 패치를 변환하는 단계; 를 포함하는, 방법.

제4항에 있어서, 상기 변환된 제1 이미지 패치 및 상기 변환된 제2 이미지 패치로부터 특징 벡터를 추출하는 단계는,상기 변환된 제1 이미지 패치를 제4 신경망 모델에 입력함으로써, 상기 변환된 제1 이미지 패치로부터 제1 특징 벡터를 추출하는 단계; 및상기 변환된 제2 이미지 패치를 제5 신경망 모델에 입력함으로써, 상기 변환된 제2 이미지 패치로부터 제4 특징 벡터를 추출하는 단계; 를 포함하는, 방법.

제5항에 있어서, 상기 획득된 제1 이미지 패치 및 상기 획득된 제2 이미지 패치로부터 특징 벡터를 추출하는 단계는상기 획득된 제2 이미지 패치를 제6 신경망 모델에 입력함으로써, 상기 획득된 제2 이미지 패치로부터 제2 특징 벡터를 추출하는 단계; 및상기 획득된 제1 이미지 패치를 제7 신경망 모델에 입력함으로써, 상기 획득된 제1 이미지 패치로부터 제3 특징 벡터를 추출하는 단계; 를 포함하는, 방법.

제6항에 있어서, 상기 제4 신경망 모델 및 상기 제6 신경망 모델은 상기 제4 신경망 모델 및 상기 제6 신경망 모델 내 레이어들 및 상기 레이어들 간의 연결 강도에 관한 가중치(weight)를 공유하고,상기 제5 신경망 모델 및 상기 제7 신경망 모델은 상기 제5 신경망 모델 및 상기 제7 신경망 모델 내 레이어들 및 상기 레이어들 간의 연결 강도에 관한 가중치(weight)를 공유하는 샴(siamese) 네트워크 구조의 신경망 모델인 것을 특징으로 하는, 방법.

제6항에 있어서, 상기 정합 여부를 식별하는 단계는상기 제1 특징 벡터 및 상기 제2 특징 벡터의 원소 별 거리 값의 제곱을 원소로 포함하는 제1 차이 벡터를 결정하는 단계; 및상기 제3 특징 벡터 및 상기 제4 특징 벡터의 원소 별 거리 값의 제곱을 원소로 포함하는 제2 차이 벡터를 결정하는 단계; 를 더 포함하고,상기 제1 신경망 모델은 상기 제1 차이 벡터 및 상기 제2 차이 벡터에 기초하여 상기 제1 이미지 패치 및 상기 제2 이미지 패치가 정합(matching)될 확률 값을 출력하는 것인, 방법.

제6항에 있어서, 상기 제1 신경망 모델, 상기 제2 신경망 모델, 상기 제3 신경망 모델, 상기 제4 신경망 모델, 상기 제5 신경망 모델, 상기 제6 신경망 모델 및 상기 제7 신경망 모델은, 상기 제1 이미지 패치 및 상기 제2 이미지 패치의 정합 정도에 관한 제1 손실 함수와 상기 변환된 제1 이미지 패치 및 상기 변환된 제2 이미지 패치의 변환 정도에 관한 제2 손실 함수가 최소화되도록, 레이어들 및 레이어들 간의 연결 강도에 관한 가중치를 갱신하는 것인, 방법.

제6항에 있어서, 상기 제4 신경망 모델, 상기 제5 신경망 모델, 상기 제6 신경망 모델 및 상기 제7 신경망 모델은 이미지 패치가 입력되면 이미지 패치의 픽셀 정보 및 기 설정된 크기의 커널(kernel)의 상관관계에 기초하여 결정되는 특징 값들을 벡터형태로 출력하는 합성곱(Convolutional) 신경망 모델인 것인, 방법.

제4항에 있어서, 상기 제2 신경망 모델 및 상기 제3 신경망 모델은상기 이미지 패치를 부호화 하기 위한 복수의 컨벌루션 레이어를 포함하는 엔코더 및 상기 부호화된 이미지 패치를 디코딩함으로써 소정의 파장 대역의 이미지 특성을 나타내는 이미지 패치를 출력하기 위한 디코더를 포함하는 것인, 방법.

이미지 정합 장치에 있어서,하나의 인스트럭션을 저장하는 메모리; 및상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서; 를 포함하고,상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 서로 다른 파장 대역의 광들로부터 제1 이미지 패치 및 제2 이미지 패치를 획득하고,상기 제1 이미지 패치 및 제2 이미지 패치를 미리 설정된 파장 대역의 이미지 특성을 나타내도록 변환하고,상기 획득된 제1 이미지 패치 및 상기 획득된 제2 이미지 패치로부터 특징 벡터를 추출하고,상기 변환된 제1 이미지 패치 및 상기 변환된 제2 이미지 패치로부터 특징 벡터를 추출하고,상기 획득된 제1 이미지 패치, 상기 획득된 제2 이미지 패치, 상기 변환된 제1 이미지 패치 및 상기 변환된 제2 이미지 패치 각각으로부터 추출된 특징 벡터를 제1 신경망 모델에 입력함으로써, 상기 제1 이미지 패치 및 상기 제2 이미지 패치의 정합 여부를 식별하는, 영상 정합 장치.

삭제

제12항에 있어서, 상기 적어도 하나의 프로세서는제1 파장 대역의 광들로부터 제1 이미지 및 제2 파장 대역의 광들로부터 제2 이미지를 획득하고,상기 제1 이미지 및 상기 제2 이미지 내 각각의 픽셀 값에 기초하여, 상기 제1 이미지 및 상기 제2 이미지 각각으로부터 특징점을 추출하고,상기 추출된 특징점을 포함하는 이미지의 일부 영역을 상기 제1 이미지 패치 및 상기 제2 이미지 패치로 획득하는, 것인 영상 정합 장치.

제12항에 있어서, 상기 적어도 하나의 프로세서는제1 파장 대역의 이미지 특성을 나타내는 제1 이미지 패치가 입력되는 경우, 제2 파장 대역의 이미지 특성을 나타내는 이미지 패치를 출력하는 제2 신경망 모델을 이용하여, 상기 제1 이미지 패치를 변환하고,제2 파장 대역의 이미지 특성을 나타내는 제2 이미지 패치가 입력되는 경우, 상기 제1 파장 대역의 이미지 특성을 나타내는 이미지 패치를 출력하는 제3 신경망 모델을 이용하여, 상기 제2 이미지 패치를 변환하는 것인, 영상 정합 장치.

제15항에 있어서, 상기 적어도 하나의 프로세서는상기 변환된 제1 이미지 패치를 제4 신경망 모델에 입력함으로써, 상기 변환된 제1 이미지 패치로부터 제1 특징 벡터를 추출하고,상기 변환된 제2 이미지 패치를 제5 신경망 모델에 입력함으로써, 상기 변환된 제2 이미지 패치로부터 제4 특징 벡터를 추출하는 것인, 영상 정합 장치.

제16항에 있어서, 상기 적어도 하나의 프로세서는상기 획득된 제2 이미지 패치를 제6 신경망 모델에 입력함으로써, 상기 획득된 제2 이미지 패치로부터 제2 특징 벡터를 추출하고,상기 획득된 제1 이미지 패치를 제7 신경망 모델에 입력함으로써, 상기 획득된 제1 이미지 패치로부터 제3 특징 벡터를 추출하는 것인, 영상 정합 장치.

제17항에 있어서, 상기 제4 신경망 모델 및 상기 제6 신경망 모델은 상기 제4 신경망 모델 및 상기 제6 신경망 모델 내 레이어들 및 상기 레이어들 간의 연결 강도에 관한 가중치(weight)를 공유하고,상기 제5 신경망 모델 및 상기 제7 신경망 모델은 상기 제5 신경망 모델 및 상기 제7 신경망 모델 내 레이어들 및 상기 레이어들 간의 연결 강도에 관한 가중치(weight)를 공유하는 샴(siamese) 네트워크 구조의 신경망 모델인 것을 특징으로 하는, 영상 정합 장치.

제17항에 있어서, 상기 적어도 하나의 프로세서는상기 제1 특징 벡터 및 상기 제2 특징 벡터의 원소 별 거리 값의 제곱을 원소로 포함하는 제1 차이 벡터를 결정하고,상기 제3 특징 벡터 및 상기 제4 특징 벡터의 원소 별 거리 값의 제곱을 원소로 포함하는 제2 차이 벡터를 결정하고,상기 제1 신경망 모델은 상기 제1 차이 벡터 및 상기 제2 차이 벡터에 기초하여 상기 제1 이미지 패치 및 상기 제2 이미지 패치가 정합(matching)될 확률 값을 출력하는 것인, 영상 정합 장치.

서로 다른 파장 대역의 광들로부터 제1 이미지 패치 및 제2 이미지 패치를 획득하는 단계;상기 제1 이미지 패치 및 제2 이미지 패치를 미리 설정된 파장 대역의 이미지 특성을 나타내도록 변환하는 단계;상기 획득된 제1 이미지 패치 및 상기 획득된 제2 이미지 패치로부터 특징 벡터를 추출하는 단계;상기 변환된 제1 이미지 패치 및 상기 변환된 제2 이미지 패치로부터 특징 벡터를 추출하는 단계; 및상기 획득된 제1 이미지 패치, 상기 획득된 제2 이미지 패치, 상기 변환된 제1 이미지 패치 및 상기 변환된 제2 이미지 패치 각각으로부터 추출된 특징 벡터를 제1 신경망 모델에 입력함으로써, 상기 제1 이미지 패치 및 상기 제2 이미지 패치의 정합 여부를 식별하는 단계; 를 포함하는, 이미지의 정합 여부를 식별하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.