동적 환경에서 의미론적 시각적 장소 인식을 위한 방법 및 장치
Device and Method for Semantic Visual Place Recognition in Dynamic Environment
특허 요약
동적 환경에서 의미론적 시각적 장소 인식을 위한 방법 및 장치를 개시한다. 쿼리 이미지 및 참조 이미지들에 대해 기 정의된 정적 객체 클래스들에 대응되는 제1 글로벌 시맨틱 디스크립터 및 제2 글로벌 시맨틱 디스크립터를 획득하는 단계; 제1 글로벌 시맨틱 디스크립터와 제2 글로벌 시맨틱 디스크립터 간 유사도에 기초하여 참조 이미지들로부터 기 설정된 개수의 후보 이미지들을 탐색하는 단계; 쿼리 이미지로부터 추출된 제1 특징맵 활성화들과 각 후보 이미지로부터 추출된 제2 특징맵 활성화들 간 비교에 기초하여 후보 이미지들 중 최종 이미지를 선택하는 단계; 및 최종 이미지에 대응하여 미리 저장된 장소를 쿼리 이미지의 장소로 결정하는 단계를 포함하는 방법 및 장치를 제공한다.
청구항
번호청구항
3

제2항에 있어서,상기 로컬 시맨틱 디스크립터들의 결합 전에 상기 로컬 시맨틱 디스크립터들을 정규화하는 단계를 더 포함하는 방법.

1

현재 장소를 인식하기 위한 컴퓨터 구현 방법에 있어서,쿼리 이미지로부터 기 정의된 정적 객체 클래스들에 대한 제1 글로벌 시맨틱 디스크립터를 추출하는 단계;참조 이미지들로부터 상기 정적 객체 클래스들에 대한 제2 글로벌 시맨틱 디스크립터를 획득하는 단계;상기 제1 글로벌 시맨틱 디스크립터와 상기 제2 글로벌 시맨틱 디스크립터 간 유사도에 기초하여 상기 참조 이미지들로부터 기 설정된 개수의 후보 이미지들을 탐색하는 단계;상기 쿼리 이미지로부터 추출된 제1 특징맵 활성화들과 각 후보 이미지로부터 추출된 제2 특징맵 활성화들 간 비교에 기초하여 상기 후보 이미지들 중 최종 이미지를 선택하는 단계; 및상기 최종 이미지에 대응하여 미리 저장된 장소를 상기 쿼리 이미지의 장소로 결정하는 단계를 포함하는 방법.

2

제1항에 있어서,상기 제1 글로벌 시맨틱 디스크립터를 추출하는 단계는,훈련 이미지로부터 훈련 픽셀단위 시맨틱 디스크립터들을 추출하도록 훈련된 신경망을 이용하여 상기 쿼리 이미지로부터 픽셀단위 시맨틱 디스크립터들을 추출하는 단계;상기 픽셀단위 시맨틱 디스크립터들을 기 정의된 객체 클래스들별로 집계함으로써, 전체 로컬 시맨틱 디스크립터들을 생성하는 단계 -상기 객체 클래스들은 상기 정적 객체 클래스들 및 동적 객체 클래스들을 포함함-;상기 전체 로컬 시맨틱 디스크립터들 중 상기 정적 객체 클래스들에 대한 로컬 시맨틱 디스크립터들을 결합함으로써, 상기 제1 글로벌 시맨틱 디스크립터를 생성하는 단계를 포함하는 방법.

4

제1항에 있어서,상기 후보 이미지들을 탐색하는 단계는,상기 참조 이미지들 중 상기 정적 객체 클래스들에 대한 상기 제1 글로벌 시맨틱 디스크립터와의 유사도가 높은 이미지들을 상기 후보 이미지들로 결정하는 단계를 포함하는 방법.

5

제1항에 있어서, 상기 최종 이미지를 선택하는 단계는,특징맵 활성화의 요소별 활성화 빈도에 따라, 상기 제1 특징맵 활성화들 및 상기 제2 특징맵 활성화들로부터 제1 빈도 맵 및 제2 빈도 맵을 각각 생성하는 단계;상기 제1 빈도 맵 내 제1 키포인트 위치들, 및 상기 제2 빈도 맵 내 제2 키포인트 위치들을 식별하는 단계;상기 제1 키포인트 위치들 및 상기 제2 키포인트 위치들 간 거리에 기초하여 상기 후보 이미지들로부터 상기 최종 이미지를 결정하는 단계를 포함하는 방법.

6

명령어들을 저장하는 메모리; 및적어도 하나의 프로세서를 포함하되,상기 적어도 하나의 프로세서는 상기 명령어들을 실행함으로써,쿼리 이미지로부터 기 정의된 정적 객체 클래스들에 대한 제1 글로벌 시맨틱 디스크립터를 추출하고,참조 이미지들로부터 상기 정적 객체 클래스들에 대한 제2 글로벌 시맨틱 디스크립터를 획득하고,상기 제1 글로벌 시맨틱 디스크립터와 상기 제2 글로벌 시맨틱 디스크립터 간 유사도에 기초하여 상기 참조 이미지들로부터 기 설정된 개수의 후보 이미지들을 탐색하고,상기 쿼리 이미지로부터 추출된 제1 특징맵 활성화들과 각 후보 이미지로부터 추출된 제2 특징맵 활성화들 간 비교에 기초하여 상기 후보 이미지들 중 최종 이미지를 선택하고,상기 최종 이미지에 대응하여 미리 저장된 장소를 상기 쿼리 이미지의 장소로 결정하는, 장소 인식 장치.

7

제6항에 있어서,상기 적어도 하나의 프로세서는, 훈련 이미지로부터 훈련 픽셀단위 시맨틱 디스크립터들을 추출하도록 훈련된 신경망을 이용하여 상기 쿼리 이미지로부터 픽셀단위 시맨틱 디스크립터들을 추출하고,상기 픽셀단위 시맨틱 디스크립터들을 기 정의된 객체 클래스들별로 집계함으로써, 전체 로컬 시맨틱 디스크립터들을 생성하고 -상기 객체 클래스들은 상기 정적 객체 클래스들 및 동적 객체 클래스들을 포함함-,상기 전체 로컬 시맨틱 디스크립터들 중 상기 정적 객체 클래스들에 대한 로컬 시맨틱 디스크립터들을 결합함으로써, 상기 제1 글로벌 시맨틱 디스크립터를 생성하는, 장소 인식 장치.

8

제7항에 있어서,상기 적어도 하나의 프로세서는, 상기 로컬 시맨틱 디스크립터들의 결합 전에 상기 로컬 시맨틱 디스크립터들을 정규화하는, 장소 인식 장치.

9

제6항에 있어서,상기 적어도 하나의 프로세서는, 상기 참조 이미지들 중 상기 정적 객체 클래스들에 대한 상기 제1 글로벌 시맨틱 디스크립터와의 유사도가 높은 이미지들을 상기 후보 이미지들로 결정하는, 장소 인식 장치.

10

제6항에 있어서, 상기 적어도 하나의 프로세서는, 특징맵 활성화의 요소별 활성화 빈도에 따라, 상기 제1 특징맵 활성화들 및 상기 제2 특징맵 활성화들로부터 제1 빈도 맵 및 제2 빈도 맵을 각각 생성하고,상기 제1 빈도 맵 내 제1 키포인트 위치들, 및 상기 제2 빈도 맵 내 제2 키포인트 위치들을 식별하고,상기 제1 키포인트 위치들 및 상기 제2 키포인트 위치들 간 거리에 기초하여 상기 후보 이미지들로부터 상기 최종 이미지를 결정하는, 장소 인식 장치.