객체 검출 장치 및 방법
APPARATUS AND METHOD FOR DETECTING OBJECT
특허 요약
본 발명은 주차장의 천정에 설치된 어안렌즈 카메라를 통하여 획득한 영상에서 주차한 차량을 검출하고 주행하는 차량을 추적하기 위하여, 객체로서의 차량의 정보를 추출하는데 특화된 딥러닝 기반 실시간 객체 검출 장치 및 방법에 관한 것이다. 본 발명의 일 실시 예에 따른 객체 검출 장치는, 주차장의 천정에 구비된 복수의 어안렌즈 카메라를 통하여 촬영한 영상에 딥러닝 기반의 합성곱 신경 회로망 모델을 적용하여 영상의 특징을 추출하는 특징 추출부와, 특징 추출부의 최상층, 차상층 및 차차상층 중 하나 이상에서 추출한 특징을 병합하는 다중 전처리부와, 다중 전처리부로부터 병합한 특징을 수신하여 하나 이상의 객체를 테두리 상자로 나타내고, 테두리 상자의 중심좌표, 객체의 넓이, 객체의 높이, 테두리 상자에 포함된 객체의 신뢰도 및 셀에 존재할 객체가 특정 클래스일 확률과 객체의 진행방향을 추정하는 다중 분류부를 포함한다.
청구항
번호청구항
9

제 8항에 있어서, 상기 추정하는 단계는,제1 분류부에 의해, 상기 제1 전처리부가 병합한 1280개의 특징을 1024개의 1×1×1280 합성 곱 필터를 통과시켜 구한 1024개의 특징으로부터 상기 테두리 상자의 중심좌표(x,y), 상기 객체의 넓이(w), 상기 객체의 높이(h), 상기 테두리 상자에 포함된 상기 객체의 신뢰도(C) 및 셀에 존재할 상기 객체가 특정 클래스일 확률(Pi)과 상기 객체의 진행방향(θ)을 추정하는 단계; 및제2 분류부에 의해, 상기 제2 전처리부가 병합한 1280개의 특징을 1024개의 1×1×1280 합성 곱 필터를 통과시켜 구한 1024개의 특징으로부터 상기 테두리 상자의 중심좌표(x,y), 상기 객체의 넓이(w), 상기 객체의 높이(h), 상기 테두리 상자에 포함된 상기 객체의 신뢰도(C) 및 셀에 존재할 상기 객체가 특정 클래스일 확률(Pi)과 상기 객체의 진행방향(θ)을 추정하는 단계;를 포함하는, 객체 검출 방법.

10

제 9항에 있어서,NMS(non-maximum suppression) 처리부에 의해, 상기 제1 분류부의 추정 결과 및 상기 제2 분류부의 추정 결과로부터 상기 객체에 여러 테두리 상자가 겹치는 부분을 제거하는 단계;를 더 포함하는, 객체 검출 방법.

1

주차장의 천정에 구비된 복수의 어안렌즈 카메라를 통하여 촬영한 영상에 딥러닝 기반의 합성곱 신경 회로망 모델을 적용하여 상기 영상의 특징을 추출하는 특징 추출부;상기 특징 추출부의 최상층, 차상층 및 차차상층 중 하나 이상에서 추출한 특징을 병합하는 다중 전처리부; 및상기 다중 전처리부로부터 병합한 특징을 수신하여 하나 이상의 객체를 테두리 상자로 나타내고, 상기 테두리 상자의 중심좌표, 상기 객체의 넓이, 상기 객체의 높이, 상기 테두리 상자에 포함된 객체의 신뢰도 및 셀에 중심이 존재할 상기 테두리 상자로 나타내는 하나 이상의 객체가 특정 클래스일 확률(Pi)과, 상기 객체의 진행방향을 추정하는 다중 분류부;를 포함하되,상기 특징 추출부는, 연속된 3×3과 1×1 콘벌루션으로 이루어져 필터링을 수행하는 19개의 콘벌루션 레이어와 영상의 다운 샘플링을 수행하는 5개의 최대 풀링 레이어를 포함하며, 상기 19개의 콘벌루션 레이어 중 6-8 번째 콘벌루션 레이어 집합은 차차상층, 9-13번째 콘벌루션 레이어 집합은 차상층, 14-19번째 콘벌루션 레이어 집합은 최상층을 의미하며,상기 특징 추출부의 입력 영상은 416×416 셀로 구성되고, 차차상층은 52×52 셀들로 구성되며, 차상층은 26×26 셀로 구성되고, 최상층은13×13 셀로 구성되며, 상기 테두리 상자는 상기 다중 전처리부로부터 병합한 최상층, 차상층, 및 차차상층의 특징에서 검출한 객체들을, 상기 다중 분류부가 테두리가 있는 상자로 나타낸 것임을 특징으로 하는 객체 검출 장치.

2

삭제

3

제 1항에 있어서, 상기 다중 전처리부는,19개의 콘벌루션 레이어와 5개의 최대 풀링 레이어를 포함하는 상기 특징 추출부 중 최상층의 19번째 콘벌루션 레이어에서 출력되는 해당 셀의 1024개의 특징과, 상기 최상층 셀에 해당하는 차상층의 4개 셀에서 추출한 특징 256개의 특징을 병합하는 제1 전처리부; 및상기 특징 추출부 중 차상층의 13번째 콘벌루션 레이어에서 출력되는 해당 셀의 1024개의 특징과, 차상층 셀에 해당하는 차차상층의 4개 셀에서 추출한 특징 256개의 특징을 병합하는 제2 전처리부;를 포함하는, 객체 검출 장치.

4

제 3항에 있어서, 상기 다중 분류부는,상기 제1 전처리부가 병합한 1280개의 특징을 1024개의 1×1×1280 합성 곱 필터를 통과시켜 구한 1024개의 특징으로부터 상기 테두리 상자의 중심좌표(x,y), 상기 객체의 넓이(w), 상기 객체의 높이(h), 상기 테두리 상자에 포함된 상기 객체의 신뢰도(C) 및 셀에 존재할 상기 객체가 특정 클래스일 확률(Pi)과 상기 객체의 진행방향(θ)을 추정하는 제1 분류부; 및 상기 제2 전처리부가 병합한 1280개의 특징을 1024개의 1×1×1280 합성 곱 필터를 통과시켜 구한 1024개의 특징으로부터 상기 테두리 상자의 중심좌표(x,y), 상기 객체의 넓이(w), 상기 객체의 높이(h), 상기 테두리 상자에 포함된 상기 객체의 신뢰도(C) 및 셀에 존재할 상기 객체가 특정 클래스일 확률(Pi)과 상기 객체의 진행방향(θ)을 추정하는 제2 분류부;를 포함하는, 객체 검출 장치.

5

제 4항에 있어서,상기 제1 분류부의 추정 결과 및 상기 제2 분류부의 추정 결과로부터 상기 객체에 여러 테두리 상자가 겹치는 부분을 제거하는 NMS(non-maximum suppression) 처리부;를 더 포함하는, 객체 검출 장치.

6

특징 추출부에 의해, 주차장의 천정에 구비된 복수의 어안렌즈 카메라를 통하여 촬영한 영상에 딥러닝 기반의 합성곱 신경 회로망 모델을 적용하여 상기 영상의 특징을 추출하는 단계;다중 전처리부에 의해, 상기 특징 추출부의 최상층, 차상층 및 차차상층 중 하나 이상에서 추출한 특징을 병합하는 단계; 및다중 분류부에 의해, 상기 다중 전처리부로부터 병합한 특징을 수신하여 하나 이상의 객체를 테두리 상자로 나타내고, 상기 테두리 상자의 중심좌표, 상기 객체의 넓이, 상기 객체의 높이, 상기 테두리 상자에 포함된 객체의 신뢰도 및 셀에 중심이 존재할 상기 테두리 상자로 나타내는 하나 이상의 객체가 특정 클래스일 확률(Pi)과, 상기 객체의 진행방향을 추정하는 단계;를 포함하되,상기 특징 추출부는, 연속된 3×3과 1×1 콘벌루션으로 이루어져 필터링을 수행하는 19개의 콘벌루션 레이어와 영상의 다운 샘플링을 수행하는 5개의 최대 풀링 레이어를 포함하며, 상기 19개의 콘벌루션 레이어 중 6-8 번째 콘벌루션 레이어 집합은 차차상층, 9-13번째 콘벌루션 레이어 집합은 차상층, 14-19번째 콘벌루션 레이어 집합은 최상층을 의미하며,상기 특징 추출부의 입력 영상은 416×416 셀로 구성되고, 차차상층은 52×52 셀들로 구성되며, 차상층은 26×26 셀로 구성되고, 최상층은13×13 셀로 구성되며, 상기 테두리 상자는 상기 다중 전처리부로부터 병합한 최상층, 차상층, 및 차차상층의 특징에서 검출한 객체들을, 상기 다중 분류부가 테두리가 있는 상자로 나타낸 것임을 특징으로 하는 객체 검출 방법.

7

삭제

8

제 6항에 있어서, 상기 병합하는 단계는,제1 전처리부에 의해, 19개의 콘벌루션 레이어와 5개의 최대 풀링 레이어를 포함하는 상기 특징 추출부 중 최상층의 19번째 콘벌루션 레이어에서 출력되는 해당 셀의 1024개의 특징과, 상기 최상층 셀에 해당하는 차상층의 4개 셀에서 추출한 특징 256개의 특징을 병합하는 단계; 및제2 전처리부에 의해, 상기 특징 추출부 중 차상층의 13번째 콘벌루션 레이어에서 출력되는 해당 셀의 1024개의 특징과, 차상층 셀에 해당하는 차차상층의 4개 셀에서 추출한 특징 256개의 특징을 병합하는 단계;를 포함하는, 객체 검출 방법.

11

컴퓨터를 이용하여 제 6항과 제 8항 내지 제 10항의 방법 중 어느 한 항의 방법을 실행시키기 위하여 상기 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.