객체 추적을 위한 방법 및 장치
METHOD AND APPARATUS FOR OBJECT TRACKING
특허 요약
본 발명은 객체 추적을 위한 방법으로서, 연속된 프레임으로 제1 포인트 클라우드 데이터를 수신하는 단계, 제1 포인트 클라우드 데이터를 업샘플링하여 강화된 제2 포인트 클라우드 데이터를 생성하는 단계, 제2 포인트 클라우드 데이터에 대해 트랜스포머 모델을 이용하여 피쳐를 추출함으로써 적어도 하나의 객체에 대한 정보를 출력하는 단계, 및 적어도 하나의 객체에 대한 정보를 칼만 필터에 적용함으로써, 적어도 하나의 객체에 대한 다음 프레임에서의 추적을 수행하는 단계를 포함할 수 있다.
청구항
번호청구항
1

객체 추적을 위한 방법으로서,연속된 프레임으로 제1 포인트 클라우드 데이터를 수신하는 단계;상기 제1 포인트 클라우드 데이터를 업샘플링하여 강화된 제2 포인트 클라우드 데이터를 생성하는 단계;상기 제2 포인트 클라우드 데이터에 대해 트랜스포머 모델을 이용하여 피쳐를 추출함으로써 적어도 하나의 객체에 대한 정보를 출력하는 단계; 및상기 적어도 하나의 객체에 대한 정보를 칼만 필터에 적용함으로써, 상기 적어도 하나의 객체에 대한 다음 프레임에서의 추적을 수행하는 단계를 포함하고,상기 출력하는 단계는,상기 제2 포인트 클라우드 데이터에 K-최근접 이웃 탐색 알고리즘을 적용하고 상기 트랜스포머 모델을 이용하여 일 포인트와 상기 일 포인트에 인접한 K개의 포인트를 이용하여 피쳐를 추출하는 단계를 포함하는,객체 추적 방법.

2

제 1 항에 있어서,상기 제2 포인트 클라우드 데이터를 생성하는 단계는,상기 제1 포인트 클라우드 데이터의 한 포인트를 기준으로 임의의 유클리디안 거리 내에 존재하는 2개의 인접 포인트들을 선택하고, 상기 한 포인트와 상기 2개의 인접 포인트들의 좌표들의 평균 좌표에 새로운 신규 포인트를 생성하는 단계를 포함하는,객체 추적 방법.

3

제 1 항에 있어서,상기 제1 포인트 클라우드 데이터는 4D 이미징 레이더에 의해 획득된 데이터로, 4D 이미징 레이더에 의해 감지되는 객체의 위치, 이동 속도, 이동 방향 및 높이에 대한 정보를 포함하는,객체 추적 방법.

4

제 3 항에 있어서,상기 수신하는 단계 이후 및 상기 생성하는 단계 이전에,상기 4D 이미징 레이더로부터 획득된 제1 포인트 클라우드 데이터를 5차원 벡터 공간으로 임베딩하는 단계를 포함하는,객체 추적 방법.

5

삭제

6

제 1 항에 있어서,상기 출력하는 단계는,상기 피쳐를 추출하는 단계 이후에,추출된 상기 피쳐를 입력으로 하여 지역 제안 네트워크(Region Proposal Network)를 통해 박스 클래시피케이션(Box Classification) 결과와 바운딩 박스 리그레션(Bounding Box Regression)을 출력하는 단계를 더 포함하는,객체 추적 방법.

7

제 6 항에 있어서,상기 추적을 수행하는 단계는,상기 박스 클래시피케이션(Box Classification) 결과와 바운딩 리그레션(Bounding Regression)을 칼만 필터에 입력하고 예측과 업데이트 과정을 반복하며 연산함으로써 다음 프레임에서의 객체의 위치를 예측하는 단계를 포함하는,객체 추적 방법.

8

제 2 항에 있어서,상기 제2 포인트 클라우드 데이터를 생성하는 단계는,상기 제1 포인트 클라우드의 모든 포인트에 대해 상기 신규 포인트를 생성하는 단계를 수행하고, 신규 포인트들이 포함된 포인트 클라우드 데이터의 밀도가 제1 밀도에 도달했는지 판단하는 단계; 및상기 포인트 클라우드 데이터의 밀도가 상기 제1 밀도에 도달하지 못한 경우, 신규 포인트들이 포함된 포인트 클라우드 데이터에 대해 상기 신규 포인트를 생성하는 단계를 다시 수행하는 단계를 포함하는,객체 추적 방법.

9

제 8 항에 있어서,상기 제1 밀도는 수신된 상기 연속된 프레임의 프레임 레이트에 따라 설정되며, 상기 프레임 레이트가 높을수록 상기 제1 밀도는 낮게 설정되는,객체 추적 방법.

10

적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금 제 1 항 내지 제 4 항, 제 6 항 내지 제 9 항 중 어느 하나의 항의 방법을 수행하게 하는 프로그램이 기록된, 컴퓨터에서 판독 가능한 기록 매체.

11

객체를 추적하기 위한 장치로서,메모리; 및상기 메모리와 연결되고, 상기 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,상기 적어도 하나의 프로세서는,연속된 프레임으로 제1 포인트 클라우드 데이터를 수신하는 동작;상기 제1 포인트 클라우드 데이터를 업샘플링하여 강화된 제2 포인트 클라우드 데이터를 생성하는 동작;상기 제2 포인트 클라우드 데이터에 대해 트랜스포머 모델을 이용하여 피쳐를 추출함으로써 적어도 하나의 객체에 대한 정보를 출력하는 동작; 및상기 적어도 하나의 객체에 대한 정보를 칼만 필터에 적용함으로써, 상기 적어도 하나의 객체에 대한 다음 프레임에서의 추적을 수행하는 동작을 수행하도록 구성되고,상기 출력하는 동작은,상기 제2 포인트 클라우드 데이터에 K-최근접 이웃 탐색 알고리즘을 적용하고 상기 트랜스포머 모델을 이용하여 일 포인트와 상기 일 포인트에 인접한 K개의 포인트를 이용하여 피쳐를 추출하는 동작을 포함하는,객체 추적 장치.

12

제 11 항에 있어서,상기 제2 포인트 클라우드 데이터를 생성하는 동작은,상기 제1 포인트 클라우드 데이터의 한 포인트를 기준으로 임의의 유클리디안 거리 내에 존재하는 2개의 인접 포인트들을 선택하고, 상기 한 포인트와 상기 2개의 인접 포인트들의 좌표들의 평균 좌표에 새로운 신규 포인트를 생성하는 동작을 포함하는,객체 추적 장치.

13

제 11 항에 있어서,상기 제1 포인트 클라우드 데이터는 4D 이미징 레이더에 의해 획득된 데이터로, 4D 이미징 레이더에 의해 감지되는 객체의 위치, 이동 속도, 이동 방향 및 높이에 대한 정보를 포함하는,객체 추적 장치.

14

제 13 항에 있어서,상기 프로세서는,상기 수신하는 동작 이후 및 상기 생성하는 동작 이전에,상기 4D 이미징 레이더로부터 획득된 제1 포인트 클라우드 데이터를 5차원 벡터 공간으로 임베딩하는 동작을 수행하도록 구성되는,객체 추적 장치.

15

삭제

16

제 11 항에 있어서,상기 출력하는 동작은,상기 피쳐를 추출하는 동작 이후에,추출된 상기 피쳐를 입력으로 하여 지역 제안 네트워크(Region Proposal Network)를 통해 박스 클래시피케이션(Box Classification) 결과와 바운딩 박스 리그레션(Bounding Box Regression)을 출력하는 동작을 더 포함하는,객체 추적 장치.

17

제 16 항에 있어서,상기 추적을 수행하는 동작은,상기 박스 클래시피케이션(Box Classification) 결과와 바운딩 리그레션(Bounding Regression)을 칼만 필터에 입력하고 예측과 업데이트 과정을 반복하며 연산함으로써 다음 프레임에서의 객체의 위치를 예측하는 동작을 포함하는,객체 추적 장치.

18

제 12 항에 있어서,상기 제2 포인트 클라우드 데이터를 생성하는 동작은,상기 제1 포인트 클라우드의 모든 포인트에 대해 상기 신규 포인트를 생성하는 단계를 수행하고, 신규 포인트들이 포함된 포인트 클라우드 데이터의 밀도가 제1 밀도에 도달했는지 판단하는 동작; 및상기 포인트 클라우드 데이터의 밀도가 상기 제1 밀도에 도달하지 못한 경우, 신규 포인트들이 포함된 포인트 클라우드 데이터에 대해 상기 신규 포인트를 생성하는 단계를 다시 수행하는 동작을 포함하는,객체 추적 장치.

19

제 18 항에 있어서,상기 제1 밀도는 수신된 상기 연속된 프레임의 프레임 레이트에 따라 설정되며, 상기 프레임 레이트가 높을수록 상기 제1 밀도는 낮게 설정되는,객체 추적 장치.