적외선 이미지의 소형 객체 검출 방법 및 시스템
Method for detecting small object in infrared image and system thereof
특허 요약
본 발명은 적외선 이미지의 소형 객체 검출 기술에 관한 것으로, 딥러닝 모델을 포함하는 소형 객체 감지 장치는 복수 개의 적외선 이미지를 입력 받고, 복수 개의 적외선 이미지를 기반으로 딥러닝 모델의 백본 네트워크(backbone network)를 통해 복수 개의 적외선 이미지 내 객체에 대한 특징(feature) 맵을 추출하고, 특징 맵을 기반으로 딥러닝 모델의 각각 서로 다른 스케일 가지는 하나 이상의 검출 헤드(detection head)를 통해 복수 개의 적외선 이미지 내 객체를 탐지할 수 있다.
청구항
번호청구항
1

딥러닝 모델을 포함하는 소형 객체 감지 장치가 복수 개의 적외선 이미지를 입력 받는 단계;상기 소형 객체 감지 장치가 상기 복수 개의 적외선 이미지를 기반으로 상기 딥러닝 모델의 백본 네트워크(backbone network)를 통해 상기 복수 개의 적외선 이미지 내 객체에 대한 특징(feature) 맵을 추출하는 단계; 및상기 소형 객체 감지 장치가 상기 특징 맵을 기반으로 상기 딥러닝 모델의 각각 서로 다른 스케일 가지는 하나 이상의 검출 헤드(detection head)를 통해 상기 복수 개의 적외선 이미지 내 객체를 탐지하는 단계;를 포함하는 소형 객체 감지 방법.

2

제1 항에 있어서,상기 객체에 대한 특징 맵을 추출하는 단계는,상기 복수 개의 적외선 이미지를 기반으로 상기 백본 네트워크 내 합성곱 레이어, 배치 정규화 레이어와 활성화 함수 레이어를 포함하는 제1 레이어, 하나 이상의 상기 제1 레이어와 결합(concat) 레이어를 포함하는 제2 레이어, 하나 이상의 상기 제1 레이어, 상기 결합 레이어와 맥스 풀링 레이어를 포함하는 제3 레이어 및 하나 이상의 상기 제1 레이어, 하나 이상의 상기 결합 레이어와 하나 이상의 상기 맥스 풀링 레이어를 포함하는 제4 레이어를 통해 상기 객체에 대한 특징 맵을 추출하는 소형 객체 감지 방법.

3

제2 항에 있어서,상기 객체에 대한 특징 정보를 추출하는 단계는,적어도 하나의 상기 제1 레이어가 적층 구조로 구비된 상기 제2 레이어를 통해 상기 복수 개의 적외선 이미지를 기반으로 순차적으로 합성곱 연산을 수행하고, 상기 합성곱 연산의 결과 값을 결합함으로써 상기 객체에 대한 특징 정보를 추출하는 소형 객체 감지 방법.

4

제1 항에 있어서,상기 복수 개의 적외선 이미지 내 객체를 탐지하는 단계는,상기 특징 맵의 높이에 대한 공간 범위 풀링 커널을 기반으로 상기 하나 이상의 검출 헤드의 어텐션 레이어를 통해 상기 복수 개의 적외선 이미지 내 객체에 대한 수직 좌표 특징 맵을 생성하는 단계;상기 특징 맵의 너비에 대한 공간 범위 풀링 커널을 기반으로 상기 하나 이상의 검출 헤드의 어텐션 레이어를 통해 상기 복수 개의 적외선 이미지 내 객체에 대한 수평 좌표 특징 맵을 생성하는 단계; 및상기 수직 좌표 특징 맵 및 상기 수평 좌표 특징 맵을 기반으로 상기 복수 개의 적외선 이미지 내 객체에 대한 좌표 정보를 획득함으로써, 상기 복수 개의 적외선 이미지 내 객체를 탐지하는 단계;를 포함하는 소형 객체 감지 방법.

5

제1 항에 있어서,상기 복수 개의 적외선 이미지 내 객체를 탐지하는 단계는,상기 좌표 정보를 대상으로 시그모이드(Sigmoid) 함수를 사용하여 어텐션 가중치를 각각 부여하는 단계;를 더 포함하는 소형 객체 감지 방법.

6

제1 항 내지 제5 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위 한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

7

프로세서(processor); 및상기 프로세서에 의해 수행되는 하나 이상의 명령이 저장된 메모리(memory)를 포함하고,상기 하나 이상의 명령은,복수 개의 적외선 이미지를 입력 받는 단계;상기 복수 개의 적외선 이미지를 기반으로 상기 딥러닝 모델의 백본 네트워크(backbone network)를 통해 상기 복수 개의 적외선 이미지 내 객체에 대한 특징(feature) 맵을 추출하는 단계; 및상기 특징 맵을 기반으로 상기 딥러닝 모델의 각각 서로 다른 스케일 가지는 하나 이상의 검출 헤드(detection head)를 통해 상기 복수 개의 적외선 이미지 내 객체를 탐지하는 단계;를 포함하는 소형 객체 감지 장치.

8

제7 항에 있어서,상기 객체에 대한 특징 맵을 추출하는 단계는,상기 복수 개의 적외선 이미지를 기반으로 상기 백본 네트워크 내 합성곱 레이어, 배치 정규화 레이어와 활성화 함수 레이어를 포함하는 제1 레이어, 하나 이상의 상기 제1 레이어와 결합(concat) 레이어를 포함하는 제2 레이어, 하나 이상의 상기 제1 레이어, 상기 결합 레이어와 맥스 풀링 레이어를 포함하는 제3 레이어 및 하나 이상의 상기 제1 레이어, 하나 이상의 상기 결합 레이어와 하나 이상의 상기 맥스 풀링 레이어를 포함하는 제4 레이어를 통해 상기 객체에 대한 특징 맵을 추출하는 소형 객체 감지 장치.

9

제8 항에 있어서,상기 객체에 대한 특징 정보를 추출하는 단계는,적어도 하나의 상기 제1 레이어가 적층 구조로 구비된 상기 제2 레이어를 통해 상기 복수 개의 적외선 이미지를 기반으로 순차적으로 합성곱 연산을 수행하고, 상기 합성곱 연산의 결과 값을 결합함으로써 상기 객체에 대한 특징 정보를 추출하는 소형 객체 감지 장치.

10

제7 항에 있어서,상기 복수 개의 적외선 이미지 내 객체를 탐지하는 단계는,상기 특징 맵의 높이에 대한 공간 범위 풀링 커널을 기반으로 상기 하나 이상의 검출 헤드의 어텐션 레이어를 통해 상기 복수 개의 적외선 이미지 내 객체에 대한 수직 좌표 특징 맵을 생성하는 단계;상기 특징 맵의 너비에 대한 공간 범위 풀링 커널을 기반으로 상기 하나 이상의 검출 헤드의 어텐션 레이어를 통해 상기 복수 개의 적외선 이미지 내 객체에 대한 수평 좌표 특징 맵을 생성하는 단계; 및상기 수직 좌표 특징 맵 및 상기 수평 좌표 특징 맵을 기반으로 상기 복수 개의 적외선 이미지 내 객체에 대한 좌표 정보를 획득함으로써, 상기 복수 개의 적외선 이미지 내 객체를 탐지하는 단계;를 포함하는 소형 객체 감지 장치.

11

제10 항에 있어서,상기 복수 개의 적외선 이미지 내 객체를 탐지하는 단계는,상기 좌표 정보를 대상으로 시그모이드(Sigmoid) 함수를 사용하여 어텐션 가중치를 각각 부여하는 단계;를 더 포함하는 소형 객체 감지 장치.

12

복수 개의 적외선 이미지를 획득하는 적외선 이미지 획득 장치; 및상기 적외선 이미지 획득 장치로부터 상기 복수 개의 적외선 이미지를 입력 받아 상기 복수 개의 적외선 이미지 내 객체를 탐지하는 소형 객체 감지 장치;를 포함하고,상기 소형 객체 감지 장치는,상기 복수 개의 적외선 이미지를 입력 받고, 상기 복수 개의 적외선 이미지를 기반으로 상기 딥러닝 모델의 백본 네트워크(backbone network)를 통해 상기 복수 개의 적외선 이미지 내 객체에 대한 특징(feature) 맵을 추출하고, 상기 특징 맵을 기반으로 상기 딥러닝 모델의 각각 서로 다른 스케일 가지는 하나 이상의 검출 헤드(detection head)를 통해 상기 복수 개의 적외선 이미지 내 객체를 탐지하는 소형 객체 감지 시스템.

13

제12 항에 있어서,상기 객체에 대한 특징 맵을 추출하는 경우,상기 복수 개의 적외선 이미지를 기반으로 상기 백본 네트워크 내 합성곱 레이어, 배치 정규화 레이어와 활성화 함수 레이어를 포함하는 제1 레이어, 하나 이상의 상기 제1 레이어와 결합(concat) 레이어를 포함하는 제2 레이어, 하나 이상의 상기 제1 레이어, 상기 결합 레이어와 맥스 풀링 레이어를 포함하는 제3 레이어 및 하나 이상의 상기 제1 레이어, 하나 이상의 상기 결합 레이어와 하나 이상의 상기 맥스 풀링 레이어를 포함하는 제4 레이어를 통해 상기 객체에 대한 특징 맵을 추출하는 소형 객체 감지 시스템.

14

제13 항에 있어서,상기 객체에 대한 특징 정보를 추출하는 경우,적어도 하나의 상기 제1 레이어가 적층 구조로 구비된 상기 제2 레이어를 통해 상기 복수 개의 적외선 이미지를 기반으로 순차적으로 합성곱 연산을 수행하고, 상기 합성곱 연산의 결과 값을 결합함으로써 상기 객체에 대한 특징 정보를 추출하는 소형 객체 감지 시스템.

15

제12 항에 있어서,상기 복수 개의 적외선 이미지 내 객체를 탐지하는 경우,상기 특징 맵의 높이에 대한 공간 범위 풀링 커널을 기반으로 상기 하나 이상의 검출 헤드의 어텐션 레이어를 통해 상기 복수 개의 적외선 이미지 내 객체에 대한 수직 좌표 특징 맵을 생성하고, 상기 특징 맵의 너비에 대한 공간 범위 풀링 커널을 기반으로 상기 하나 이상의 검출 헤드의 어텐션 레이어를 통해 상기 복수 개의 적외선 이미지 내 객체에 대한 수평 좌표 특징 맵을 생성하고, 상기 수직 좌표 특징 맵 및 상기 수평 좌표 특징 맵을 기반으로 상기 복수 개의 적외선 이미지 내 객체에 대한 좌표 정보를 획득함으로써, 상기 복수 개의 적외선 이미지 내 객체를 탐지하는 소형 객체 감지 시스템.

16

제12 항에 있어서,상기 복수 개의 적외선 이미지 내 객체를 탐지하는 경우,상기 좌표 정보를 대상으로 시그모이드(Sigmoid) 함수를 사용하여 어텐션 가중치를 각각 부여하는 것을 더 수행하는 소형 객체 감지 시스템.