원격 감지 영상에서 초소형 객체 검출 기법 및 장치
Method and Apparatus of Ultra-small Object Detection in Remote Sensing Images
특허 요약
본 발명은 객체 검출 장치 및 방법에 관한 것으로, 보다 구체적으로는 입력된 저해상도 영상을 고해상도 영상으로 변환하는 초해상도 적용부; 상기 고해상도 영상에서 객체를 검출하는 객체 검출부; 상기 객체가 포함된 영역을 관심영역으로 선택하는 영역선택부; 및 상기 관심영역을 출력하기 위해 저장하는 출력영상 저장부를 포함하며, 하나의 단계로 초고해상화 및 검출의 기능을 수행할 수 있다.
청구항
번호청구항
1

입력된 저해상도 영상을 고해상도 영상으로 변환하는 초해상도 적용부;상기 고해상도 영상에서 객체를 검출하는 객체 검출부;상기 객체가 포함된 영역을 관심영역으로 선택하는 영역선택부; 및상기 관심영역을 출력하기 위해 저장하는 출력영상 저장부;를 포함하고,상기 객체 검출부는,상기 고해상도 영상을 복수의 그리드로 분할하는 그리드 분할부;상기 그리드에 대해 합성곱 연산을 기반으로 객체를 검출하는 합성곱 모델 적용부; 및상기 객체가 포함된 영역에 대해 경계상자(bounding box)를 설정하고, 클래스 확률(class probabilities)을 예측하는 객체예측부;를 포함하며,상기 합성곱 모델 적용부는,사전에 학습된 데이터 세트의 가중치로부터 제1 데이터 세트를 전이학습으로 훈련시키는 전이학습부;상기 제1 데이터 세트와 동일한 종류의 제2 데이터 세트를 커리큘럼 학습 방법으로 학습하는 커리큘럼 학습부;상기 제2 데이터 세트에 대한 손실함수를 계산하고, 학습을 완료할지 판단하는 손실함수 판단부; 및상기 객체를 검출하기 위한 파라미터를 결정하여 상기 객체를 검출하는 파라미터 결정부;를 더 포함하는 객체 검출 장치.

2

제1항에 있어서,상기 초해상도 적용부는 생성적 적대 네트워크(Generative Adversarial Network, GAN)를 이용하여 해상도를 향상시키는 것을 특징으로 하는 객체 검출 장치.

3

삭제

4

삭제

5

제1항에 있어서,상기 전이학습부는,전이학습을 수행하기 위하여 사전 학습된 데이터 세트 및 가중치를 선택하는 사전 데이터 선택부;상기 사전 학습된 데이터 세트 및 가중치를 이용하여 상기 제1 데이터 세트를 전이학습 기법으로 학습하는 선행 학습부; 및상기 전이학습를 기반으로 획득한 가중치를 제1 파라미터로 저장하는 제1 파라미터 저장부;를 포함하는 것을 특징으로 하는 객체 검출 장치.

6

제1항에 있어서,상기 커리큘럼 학습부는,학습을 위한 상기 제2 데이터 세트를 추가하는 학습데이터 추가부;커리큘럼 학습 기법을 이용하여 학습을 수행하는 네트워크 학습부;상기 제1 데이터 세트와 상기 제2 데이터 세트 간의 오차를 판단하는 오차 판단부; 및상기 커리큘럼 학습에서 도출된 가중치를 제2 파라미터로 저장하는 제2 파라미터 저장부;를 포함하며,상기 오차 판단부는 상기 오차가 임계값 이하가 되도록 제3 내지 제 N 데이터 세트를 추가하여 반복 학습을 수행하는 것을 특징으로 하는 객체 검출 장치.

7

초해상도 적용부에서 입력된 저해상도 영상을 고해상도 영상으로 변환하는 단계;객체 검출부에서 상기 고해상도 영상에서 객체를 검출하는 단계;영역선택부에서 상기 객체가 포함된 영역을 관심영역으로 선택하는 단계; 및출력영상 저장부에서 상기 관심영역을 출력하기 위해 저장하는 단계;를 포함하고,상기 객체를 검출하는 단계는,그리드 분할부에서 상기 고해상도 영상을 복수의 그리드로 분할하는 단계;합성곱 모델 적용부에서 상기 그리드에 대해 합성곱 연산을 기반으로 객체를 검출하는 단계; 및객체예측부에서 상기 객체가 포함된 영역에 대해 경계상자(bounding box)를 설정하고, 클래스 확률(class probabilities)을 예측하는 단계;를 포함하며,상기 합성곱 연산을 기반으로 객체를 검출하는 단계는,전이학습부에서 사전에 학습된 데이터 세트의 가중치로부터 제1 데이터 세트를 전이학습으로 훈련시키는 단계;커리큘럼 학습부에서 상기 제1 데이터 세트와 동일한 종류의 제2 데이터 세트를 커리큘럼 학습 방법으로 학습하는 단계;손실함수 판단부에서 상기 제2 데이터 세트에 대한 손실함수를 계산하고, 학습을 완료할지 판단하는 단계; 및파라미터 결정부에서 상기 객체를 검출하기 위한 파라미터를 결정하여 상기 객체를 검출하는 단계;를 더 포함하는 객체 검출 방법.

8

제7항에 있어서, 상기 고해상도 영상으로 변환하는 단계는 생성적 적대 네트워크(Generative Adversarial Network, GAN)를 이용하여 해상도를 향상시키는 것을 특징으로 하는 객체 검출 방법.

9

삭제

10

삭제

11

제7항에 있어서,상기 전이학습으로 훈련시키는 단계는,사전 데이터 선택부에서 전이학습을 수행하기 위하여 사전 학습된 데이터 세트 및 가중치를 선택하는 단계;선행 학습부에서 상기 사전 학습된 데이터 세트 및 가중치를 이용하여 상기 제1 데이터 세트를 전이학습 기법으로 학습하는 단계; 및제1 파라미터 저장부에서 상기 전이학습을 기반으로 획득한 가중치를 제1 파라미터로 저장하는 단계;를 포함하는 것을 특징으로 하는 객체 검출 방법.

12

제7항에 있어서,상기 커리큘럼 학습 방법으로 학습하는 단계는,학습데이터 추가부 학습을 위한 상기 제2 데이터 세트를 추가하는 단계;네트워크 학습부 커리큘럼 학습 기법을 이용하여 학습을 수행하는 단계;오차 판단부에서 상기 제1 데이터 세트와 상기 제2 데이터 세트 간의 오차를 판단하는 단계; 및제2 파라미터 저장부에서 상기 커리큘럼 학습에서 도출된 가중치를 제2 파라미터로 저장하는 단계;를 포함하며,상기 오차를 판단하는 단계는 상기 오차가 임계값 이하가 되도록 제3 내지 제 N 데이터 세트를 추가하여 상기 커리큘럼 학습을 반복 수행하는 것을 특징으로 하는 객체 검출 방법.