인간 추종 로봇의 적응형 사용자 탐지 추종 시스템 및 그 방법
System For Adaptive User Detection Follow-Up for Human Follow-Up Robots Method Thereof
특허 요약
인간 추종 로봇의 적응형 사용자 탐지 추종 시스템 및 그 방법이 제공된다. 본 발명의 실시예에 따른 인간 추종 로봇의 적응형 사용자 탐지 추종 시스템은 깊이 카메라에서 획득한 영상으로부터 기설정된 제1거리 범위 내에서 위치한 사람객체를 전이학습 기반 인공지능모델로 탐지하여 사용자 후보객체로 선정하는 사람객체 탐지부; 상기 사용자 후보객체로부터 사용자 지정용 표식 신호에 대응하는 기설정된 모양이 식별되는 경우 해당 사용자 후보객체를 주인객체로 확정하는 사용자 지정부; 및 상기 깊이 카메라에서 획득한 영상을 기초로 주인객체의 위치를 추적하며 상기 주인객체의 제어명령에 대응하는 모양에 따라 동작하도록 제어하는 사용자 추적부;를 포함한다.
청구항
번호청구항
1

깊이 카메라에서 획득한 영상으로부터 기설정된 제1거리 범위 내에서 위치한 사람객체를 전이학습 기반 인공지능모델로 탐지하여 사용자 후보객체로 선정하는 사람객체 탐지부;상기 사용자 후보객체로부터 사용자 지정용 표식 신호에 대응하는 기설정된 모양이 식별되는 경우 해당 사용자 후보객체를 주인객체로 확정하는 사용자 지정부; 및상기 깊이 카메라에서 획득한 영상을 기초로 주인객체의 위치를 추적하며 상기 주인객체의 제어명령에 대응하는 모양에 따라 동작하도록 제어하는 사용자 추적부;를 포함하며, 상기 사람객체 탐지부는, 상기 영상의 크기를 조정하고 휘도를 정규화하여 텐서데이터로 변환하는 전처리부; 상기 변환된 텐서데이터 및 상기 깊이 카메라로부터 측정된 거리를 기반으로 탐지된 사람 객체를 사용자 후보로 선정하는 후보선정부; 및 상기 사용자 후보객체의 바운딩 박스 크기 및 상기 깊이 카메라로부터의 사용자 후보객체까지의 거리를 사용자 후보 식별정보로 저장하는 후보식별정보 저장부; 를 포함하는 인간 추종 로봇의 적응형 사용자 탐지 추종 시스템.

2

삭제

3

제 1항에 있어서,상기 후보선정부는 상기 탐지된 사람 객체의 바운딩박스의 가로 및 세로 길이가 기설정된 임계값을 초과하고, 상기 깊이카메라에서 측정된 거리가 상기 제1거리 범위 이내인 사람객체를 사용자 후보객체로 선정하는 인간 추종 로봇의 적응형 사용자 탐지 추종 시스템.

4

제 1항에 있어서,상기 사용자 지정부는, 상기 깊이 카메라로부터 상기 제1거리보다 짧은 기설정된 제2거리 이내에서 사용자 지정용 모양의 탐지가 활성화되는 사용자지정탐지부; 및 상기 탐지된 사용자 지정용 모양으로부터 관절 데이터를 추출하여 기설정된 사용자 지정용 신호 데이터 중에 사용자 지정용 표식 신호와 대응하는지 여부를 판단하여 상기 주인객체를 확정하는 주인객체확정부; 를 포함하는 인간 추종 로봇의 적응형 사용자 탐지 추종 시스템.

5

제 1항에 있어서,상기 사용자 추적부는,상기 확정된 주인객체로부터 바운딩박스 정보, 상기 깊이카메라에서 측정된 거리 및 상기 탐지된 사용자 지정용 신호를 포함하는 사용자식별정보를 추출하여 저장하는 주인객체식별정보 저장부; 상기 추출된 사용자식별정보를 기반으로 상기 깊이 카메라에서 획득한 영상으로부터 이동하는 주인객체의 사용자식별정보를 갱신하며, 주인객체를 추적하는 주인객체추적부; 및상기 제어명령에 대응하는 모양을 식별하고 식별된 모양에 따라 이동 시작, 정지 및 후진의 동작을 제어하는 동작제어부; 를 포함하는 인간 추종 로봇의 적응형 사용자 탐지 추종 시스템.

6

깊이 카메라에서 획득한 영상으로부터 기설정된 제1거리 범위 내에서 위치한 사람객체를 전이학습 기반 인공지능모델로 탐지하여 사용자 후보객체로 선정하는 사람객체 탐지단계;상기 사용자 후보객체로부터 사용자 지정용 표식 신호에 대응하는 기설정된 모양이 식별되는 경우 해당 사용자 후보객체를 주인객체로 확정하는 사용자 지정단계; 및상기 깊이 카메라에서 획득한 영상을 기초로 주인객체의 위치를 추적하며 상기 주인객체의 제어명령에 대응하는 모양에 따라 동작하도록 제어하는 사용자 추적단계;를 포함하며, 상기 사람객체 탐지단계는, 상기 영상의 크기를 조정하고 휘도를 정규화하여 텐서데이터로 변환하는 전처리단계; 상기 변환된 텐서데이터 및 상기 깊이 카메라로부터 측정된 거리를 기반으로 탐지된 사람 객체를 사용자 후보로 선정하는 후보선정단계; 및 상기 사용자 후보객체의 바운딩 박스 크기 및 상기 깊이 카메라로부터의 사용자 후보객체까지의 거리를 사용자 후보 식별정보로 저장하는 후보식별정보 저장단계;를 포함하는 인간 추종 로봇의 적응형 사용자 탐지 추종 방법.

7

삭제

8

제 6항에 있어서,상기 후보선정단계는 상기 탐지된 사람 객체의 바운딩박스의 가로 및 세로 길이가 기설정된 임계값을 초과하고, 상기 깊이카메라에서 측정된 거리가 상기 제1거리 범위 이내인 사람객체를 사용자 후보객체로 선정하는 인간 추종 로봇의 적응형 사용자 탐지 추종 방법.

9

제 6항에 있어서,상기 사용자 지정단계는, 상기 깊이 카메라로부터 상기 제1거리보다 짧은 기설정된 제2거리 이내에서 사용자 지정용 모양의 탐지가 활성화되는 사용자지정 탐지단계; 및 상기 탐지된 사용자 지정용 모양으로부터 관절 데이터를 추출하여 기설정된 사용자 지정용 신호 데이터 중에 사용자 지정용 표식 신호와 대응하는지 여부를 판단하여 상기 주인객체를 확정하는 주인객체 확정단계; 를 포함하는 인간 추종 로봇의 적응형 사용자 탐지 추종 방법.

10

제 6항에 있어서,상기 사용자 추적단계는,상기 확정된 주인객체로부터 바운딩박스 정보, 상기 깊이카메라에서 측정된 거리 및 상기 탐지된 사용자 지정용 신호를 포함하는 사용자식별정보를 추출하여 저장하는 주인객체식별정보 저장단계; 상기 추출된 사용자식별정보를 기반으로 상기 깊이 카메라에서 획득한 영상으로부터 이동하는 주인객체의 사용자식별정보를 갱신하며, 주인객체를 추적하는 주인객체추적단계; 및상기 제어명령에 대응하는 모양을 식별하고 식별된 모양에 따라 이동 시작, 정지 및 후진의 동작을 제어하는 동작제어단계; 를 포함하는 인간 추종 로봇의 적응형 사용자 탐지 추종 방법.