연속된 영상의 추적 키에 기반한 객체 검출 방법 및 장치
METHOD AND APPARATUS FOR DETECTING AN OBJECT BASED ON TRACKING KEY OF CONTINUOUS IMAGES
특허 요약
객체 검출 방법 및 장치가 개시된다. 본 개시의 일 실시 예에 따른 객체 검출 방법은, 객체 검출 딥러닝 네트워크의 분류 레이어 출력으로부터 촬영 순서가 연속적인 N(N은 3 이상의 미리 설정된 정수)개의 이미지 각각의 검출 객체에 대한 판별 정보를 획득하는 단계와, N개의 이미지 중 적어도 촬영 순서가 시간적으로 앞서는 2개 이상의 이미지 각각의 검출 객체에 대한 판별 정보를 기반으로, N개의 이미지 중 2개 이상의 이미지보다 촬영 순서가 시간적으로 늦은 이미지 검출 객체에 대한 판별 정보를 수정하는 단계를 포함할 수 있다.
청구항
번호청구항
1

삭제

2

삭제

3

각 단계의 적어도 일부가 프로세서에 의해 수행되는, 연속 이미지의 물체 검출 정확도를 향상시키기 위한 객체 검출 방법으로서,객체 검출 딥러닝 네트워크의 분류 레이어 출력으로부터 촬영 순서가 연속적인 N(N은 3 이상의 미리 설정된 정수)개의 이미지 각각의 검출 객체에 대한 판별 정보를 획득하는 단계; 및상기 N개의 이미지 중 적어도 촬영 순서가 시간적으로 앞서는 2개 이상의 이미지 각각의 검출 객체에 대한 상기 판별 정보를 기반으로, 상기 N개의 이미지 중 상기 2개 이상의 이미지보다 촬영 순서가 시간적으로 늦은 이미지 검출 객체에 대한 상기 판별 정보를 수정하는 단계를 포함하고,상기 N개의 이미지는 촬영 시간 순서대로 제 1 이미지, 제 2 이미지, 및 제 3 이미지를 포함하며,상기 판별 정보를 수정하는 단계는,상기 제 2 이미지 및 상기 제 1 이미지에서 각각 검출된 객체들의 바운딩 박스의 유사도에 기반하여 제 1 키 벡터를 생성하고, 상기 제 2 이미지 및 상기 제 3 이미지에서 각각 검출된 객체들의 바운딩 박스의 유사도에 기반하여 제 2 키 벡터를 생성하는 단계;상기 제 1 키 벡터와 상기 제 2 키 벡터를 기반으로 상기 제 3 이미지의 검출 객체에 대한 상기 판별 정보를 수정하기 위한 후보 바운딩 박스를 결정하는 단계; 및상기 후보 바운딩 박스와 상기 제 3 이미지의 검출 객체에 대한 바운딩 박스의 유사도에 기반하여, 상기 후보 바운딩 박스를 상기 제 3 이미지에 추가하거나 또는 상기 제 3 이미지의 검출 객체에 대한 바운딩 박스에 병합하는 단계를 포함하는,객체 검출 방법.

4

각 단계의 적어도 일부가 프로세서에 의해 수행되는, 연속 이미지의 물체 검출 정확도를 향상시키기 위한 객체 검출 방법으로서,객체 검출 딥러닝 네트워크의 분류 레이어 출력으로부터 촬영 순서가 연속적인 N(N은 3 이상의 미리 설정된 정수)개의 이미지 각각의 검출 객체에 대한 판별 정보를 획득하는 단계; 및상기 N개의 이미지 중 적어도 촬영 순서가 시간적으로 앞서는 2개 이상의 이미지 각각의 검출 객체에 대한 상기 판별 정보를 기반으로, 상기 N개의 이미지 중 상기 2개 이상의 이미지보다 촬영 순서가 시간적으로 늦은 이미지 검출 객체에 대한 상기 판별 정보를 수정하는 단계를 포함하고,상기 N개의 이미지는 촬영 시간 순서대로 제 1 이미지, 제 2 이미지, 제 3 이미지, 및 제 4 이미지를 포함하며,상기 판별 정보를 수정하는 단계는,상기 제 2 이미지 및 상기 제 1 이미지에서 각각 검출된 객체들의 유사도 및 상기 제 2 이미지 및 상기 제 3 이미지에서 각각 검출된 객체들의 유사도에 기반하여 상기 제 3 이미지의 검출 객체에 대한 상기 판별 정보를 수정하는 단계를 포함하고,상기 제 3 이미지 및 상기 제 2 이미지에서 각각 검출된 객체들의 유사도 및 상기 제 3 이미지 및 상기 제 4 이미지에서 각각 검출된 객체들의 유사도에 기반하여 상기 제 4 이미지의 검출 객체에 대한 상기 판별 정보를 수정하되, 상기 제 1 이미지 및 상기 제 2 이미지에 기반하여 상기 제 3 이미지의 상기 판별 정보에 추가된 검출 객체는 상기 제 4 이미지의 검출 객체에 대한 상기 판별 정보 수정 시 제외하는 단계를 더 포함하는,객체 검출 방법.

5

제 3 항에 있어서,상기 제 2 이미지 및 상기 제 1 이미지에서 각각 검출된 객체들의 바운딩 박스의 유사도의 임계값, 상기 제 2 이미지 및 상기 제 3 이미지에서 각각 검출된 객체들의 바운딩 박스의 유사도의 임계값, 및 상기 후보 바운딩 박스와 상기 제 3 이미지의 검출 객체에 대한 바운딩 박스의 유사도의 임계값의 최적화 값을 도출하는 단계를 더 포함하는,객체 검출 방법.

6

제 5 항에 있어서,상기 최적화 값을 도출하는 단계는,전역 최대값을 결정하기 위해 특정 단위로 행렬 값을 추출하는 단계;전역 검색 결과에서 가장 높은 값을 갖는 지점에서 미리 설정된 커널 크기만큼 주변 값을 검색하는 단계;커널 내부의 모든 데이터를 획득한 후 가장 큰 값을 향해 이동하는 단계; 및4개의 동일한 값이 저장된 최대값 벡터에 존재하고, 커널 중심 좌표가 이전 주기에서 저장된 좌표로 이동하면, 이전 중심 좌표와 현재 중심 좌표의 평균값을 최대값으로 도출하는 단계를 포함하는,객체 검출 방법.

7

제 6 항에 있어서,상기 제 2 이미지 및 상기 제 1 이미지에서 각각 검출된 객체들의 바운딩 박스의 유사도의 임계값, 상기 제 2 이미지 및 상기 제 3 이미지에서 각각 검출된 객체들의 바운딩 박스의 유사도의 임계값, 및 상기 후보 바운딩 박스와 상기 제 3 이미지의 검출 객체에 대한 바운딩 박스의 유사도의 임계값의 최적화 값은 이미지 촬영 환경 및 검출 객체 클래스에 기반하여 설정되는,객체 검출 방법.

8

제 4 항에 있어서,상기 제 3 이미지의 검출 객체에 대한 상기 판별 정보를 수정하는 단계는,상기 제 1 이미지, 상기 제 2 이미지 및 상기 제 3 이미지 중 미리 설정된 면적 계수(region factor)에 대응하는 영역에 존재하는 검출 객체들의 유사도에 기반하여 상기 제 3 이미지의 검출 객체에 대한 상기 판별 정보를 수정하는 단계를 포함하는,객체 검출 방법.

9

제 8 항에 있어서,상기 면적 계수는, 이미지 촬영 환경 및 검출 객체 클래스에 기반하여 서로 다르게 설정되는,객체 검출 방법.

10

제 9 항에 있어서,상기 N개의 이미지를 촬영한 카메라의 이동 속도에 반비례하여 상기 면적 계수가 설정되는,객체 검출 방법.

11

삭제

12

삭제

13

적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금 제 3 항 내지 제 10 항 중 어느 하나의 항의 방법을 수행하게 하는 프로그램이 기록된, 컴퓨터에서 판독 가능한 기록 매체.

14

삭제

15

삭제

16

연속 이미지의 물체 검출 정확도를 향상시키기 위해 객체 검출 장치로서,메모리; 및상기 메모리와 연결되고, 상기 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,상기 적어도 하나의 프로세서는,객체 검출 딥러닝 네트워크의 분류 레이어 출력으로부터 촬영 순서가 연속적인 N(N은 3 이상의 미리 설정된 정수)개의 이미지 각각의 검출 객체에 대한 판별 정보를 획득하는 동작, 및상기 N개의 이미지 중 적어도 촬영 순서가 시간적으로 앞서는 2개 이상의 이미지 각각의 검출 객체에 대한 상기 판별 정보를 기반으로, 상기 N개의 이미지 중 상기 2개 이상의 이미지보다 촬영 순서가 시간적으로 늦은 이미지 검출 객체에 대한 상기 판별 정보를 수정하는 동작을 수행하도록 설정되고,상기 N개의 이미지는 촬영 시간 순서대로 제 1 이미지, 제 2 이미지, 및 제 3 이미지를 포함하며,상기 판별 정보를 수정하는 동작은,상기 제 2 이미지 및 상기 제 1 이미지에서 각각 검출된 객체들의 바운딩 박스의 유사도에 기반하여 제 1 키 벡터를 생성하고, 상기 제 2 이미지 및 상기 제 3 이미지에서 각각 검출된 객체들의 바운딩 박스의 유사도에 기반하여 제 2 키 벡터를 생성하는 동작,상기 제 1 키 벡터와 상기 제 2 키 벡터를 기반으로 상기 제 3 이미지의 검출 객체에 대한 상기 판별 정보를 수정하기 위한 후보 바운딩 박스를 결정하는 동작, 및상기 후보 바운딩 박스와 상기 제 3 이미지의 검출 객체에 대한 바운딩 박스의 유사도에 기반하여, 상기 후보 바운딩 박스를 상기 제 3 이미지에 추가하거나 또는 상기 제 3 이미지의 검출 객체에 대한 바운딩 박스에 병합하는 동작을 포함하는,객체 검출 장치.

17

연속 이미지의 물체 검출 정확도를 향상시키기 위해 객체 검출 장치로서,메모리; 및상기 메모리와 연결되고, 상기 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,상기 적어도 하나의 프로세서는,객체 검출 딥러닝 네트워크의 분류 레이어 출력으로부터 촬영 순서가 연속적인 N(N은 3 이상의 미리 설정된 정수)개의 이미지 각각의 검출 객체에 대한 판별 정보를 획득하는 동작, 및상기 N개의 이미지 중 적어도 촬영 순서가 시간적으로 앞서는 2개 이상의 이미지 각각의 검출 객체에 대한 상기 판별 정보를 기반으로, 상기 N개의 이미지 중 상기 2개 이상의 이미지보다 촬영 순서가 시간적으로 늦은 이미지 검출 객체에 대한 상기 판별 정보를 수정하는 동작을 수행하도록 설정되고,상기 N개의 이미지는 촬영 시간 순서대로 제 1 이미지, 제 2 이미지, 제 3 이미지, 및 제 4 이미지를 포함하며,상기 판별 정보를 수정하는 동작은,상기 제 2 이미지 및 상기 제 1 이미지에서 각각 검출된 객체들의 유사도 및 상기 제 2 이미지 및 상기 제 3 이미지에서 각각 검출된 객체들의 유사도에 기반하여 상기 제 3 이미지의 검출 객체에 대한 상기 판별 정보를 수정하는 동작을 포함하고,상기 제 3 이미지 및 상기 제 2 이미지에서 각각 검출된 객체들의 유사도 및 상기 제 3 이미지 및 상기 제 4 이미지에서 각각 검출된 객체들의 유사도에 기반하여 상기 제 4 이미지의 검출 객체에 대한 상기 판별 정보를 수정하되, 상기 제 1 이미지 및 상기 제 2 이미지에 기반하여 상기 제 3 이미지의 상기 판별 정보에 추가된 검출 객체는 상기 제 4 이미지의 검출 객체에 대한 상기 판별 정보 수정 시 제외하는 동작을 더 포함하는,객체 검출 장치.

18

제 16 항에 있어서,상기 적어도 하나의 프로세서는,상기 제 2 이미지 및 상기 제 1 이미지에서 각각 검출된 객체들의 바운딩 박스의 유사도의 임계값, 상기 제 2 이미지 및 상기 제 3 이미지에서 각각 검출된 객체들의 바운딩 박스의 유사도의 임계값, 및 상기 후보 바운딩 박스와 상기 제 3 이미지의 검출 객체에 대한 바운딩 박스의 유사도의 임계값의 최적화 값을 도출하는 동작을 더 수행하도록 설정되는,객체 검출 장치.

19

제 17 항에 있어서,상기 제 3 이미지의 검출 객체에 대한 상기 판별 정보를 수정하는 동작은,상기 제 1 이미지, 상기 제 2 이미지 및 상기 제 3 이미지 중 미리 설정된 면적 계수(region factor)에 대응하는 영역에 존재하는 검출 객체들의 유사도에 기반하여 상기 제 3 이미지의 검출 객체에 대한 상기 판별 정보를 수정하는 동작을 더 포함하는,객체 검출 장치.

20

삭제