적어도 하나의 컴퓨터 장치에 의해 구현되는 객체 검출 시스템의 객체 검출 방법에 있어서,상기 객체 검출 시스템은 다중 슬레이브 트랜스포머, 마스터 트랜스포머 및 적응형 제어기를 포함하고,상기 적어도 하나의 컴퓨터 장치는 적어도 하나의 프로세서를 포함하고,상기 객체 검출 방법은,상기 적어도 하나의 프로세서에 의해, 서로 상이한 복수의 센서들로부터 수신되는 멀티모달 센서 데이터에 기반하여 생성되는 피처들을 상기 다중 슬레이브 트랜스포머를 이용하여 처리하여 복수의 피처 맵을 생성하는 단계;상기 적어도 하나의 프로세서에 의해, 상기 적응형 제어기를 이용하여, 상기 마스터 트랜스포머가 생성한 기존 글로벌 피처 맵의 마지막 타임 스텝의 피처 벡터를 추출하고, 상기 피처 벡터에 비선형 활성화 함수, 가중치, 및 편향을 적용하여 제어 신호를 생성하고, 상기 복수의 피처 맵들에 상기 제어 신호를 입력하여 가중치를 동적으로 업데이트하는 단계; 및상기 적어도 하나의 프로세서에 의해, 상기 마스터 트랜스포머를 이용하여 상기 가중치가 동적으로 업데이트된 피처 맵들을 통합하여 글로벌 피처 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 객체 검출 방법.

제1항에 있어서,상기 피처들을 상기 다중 슬레이브 트랜스포머들을 이용하여 처리하는 단계는,상기 피처들을 복수의 장면 구역들로 분할하고, 상기 복수의 장면 구역들 각각마다 대응하는 슬레이브 트랜스포머의 크로스 어텐션을 사용하여 해당 장면 구역이 포함하는 상기 복수의 센서들의 피처들을 결합하는 것을 특징으로 하는 객체 검출 방법.

제1항에 있어서,상기 가중치를 동적으로 업데이트하는 단계는,도로 상태에 따른 동적 강화 학습(Dynamic Reinforcement Learning, Dynamic RL)에 기반하여 상기 제어 신호를 상기 복수의 피처 맵들에 입력하여 상기 가중치를 조정하는 것을 특징으로 하는 객체 검출 방법.

삭제

제1항에 있어서,상기 객체 검출 방법은,상기 적어도 하나의 프로세서에 의해, 마스터 트랜스포머를 이용하여 상기 글로벌 피처 맵을 이용하여 객체의 위치를 예측하고, 경계 상자와 라벨을 생성하는 단계를 더 포함하는 것을 특징으로 하는 객체 검출 방법.

제5항에 있어서,상기 객체 검출 방법은,상기 적어도 하나의 프로세서에 의해, 상기 멀티모달 센서 데이터를 상기 경계 상자와 상기 라벨을 포함하여 시각화하는 단계를 더 포함하는 것을 특징으로 하는 객체 검출 방법.

제1항에 있어서,상기 멀티모달 센서 데이터는 라이다(LiDAR)를 통해 수집되는 라이다 포인트 클라우드, 카메라를 통해 입력된 이미지, GPS(Global Positioning System)에 기반하여 측정된 위치를 통해 획득되는 고해상도 지도, 및 레이더(Radar)를 통해 수집되는 레이더 포인트 클라우드를 포함하는 것을 특징으로 하는 객체 검출 방법.

제7항에 있어서,상기 멀티모달 센서 데이터에 기반하여 생성되는 피처들은 상기 라이다 포인트 클라우드에서 3D CNN(Convolutional Neural Network)을 이용하여 추출되는 제1 피처, 상기 이미지에서 EfficientDet를 이용하여 추출되는 제2 피처, 상기 고해상도 지도에서 ViT(Vision Transformer)를 이용하여 추출되는 제3 피처, 및 상기 레이더 포인트 클라우드에서 TransCAR을 이용하여 추출되는 제4 피처를 포함하는 것을 특징으로 하는 객체 검출 방법.

컴퓨터 장치와 결합되어 객체 검출 시스템의 객체 검출 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램에 있어서,상기 객체 검출 시스템은 다중 슬레이브 트랜스포머, 마스터 트랜스포머 및 적응형 제어기를 포함하고,상기 객체 검출 방법은,서로 상이한 복수의 센서들로부터 수신되는 멀티모달 센서 데이터에 기반하여 생성되는 피처들을 상기 다중 슬레이브 트랜스포머를 이용하여 처리하여 복수의 피처 맵을 생성하는 단계;상기 적응형 제어기를 이용하여, 상기 마스터 트랜스포머가 생성한 기존 글로벌 피처 맵의 마지막 타임 스텝의 피처 벡터를 추출하고, 상기 피처 벡터에 비선형 활성화 함수, 가중치, 및 편향을 적용하여 제어 신호를 생성하고, 상기 복수의 피처 맵들에 상기 제어 신호를 입력하여 가중치를 동적으로 업데이트하는 단계; 및상기 마스터 트랜스포머를 이용하여 상기 가중치가 동적으로 업데이트된 피처 맵들을 통합하여 글로벌 피처 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 프로그램.

제9항에 있어서,상기 피처들을 상기 다중 슬레이브 트랜스포머들을 이용하여 처리하는 단계는,상기 피처들을 복수의 장면 구역들로 분할하고, 상기 복수의 장면 구역들 각각마다 대응하는 슬레이브 트랜스포머의 크로스 어텐션을 사용하여 해당 장면 구역이 포함하는 상기 복수의 센서들의 피처들을 결합하는 것을 특징으로 하는 컴퓨터 프로그램.

제9항에 있어서,상기 가중치를 동적으로 업데이트하는 단계는,도로 상태에 따른 동적 강화 학습(Dynamic Reinforcement Learning, Dynamic RL)에 기반하여 상기 제어 신호를 상기 복수의 피처 맵들에 입력하여 상기 가중치를 조정하는 것을 특징으로 하는 컴퓨터 프로그램.

삭제

제9항에 있어서,상기 객체 검출 방법은,마스터 트랜스포머를 이용하여 상기 글로벌 피처 맵을 이용하여 객체의 위치를 예측하고, 경계 상자와 라벨을 생성하는 단계; 및상기 멀티모달 센서 데이터를 상기 경계 상자와 상기 라벨을 포함하여 시각화하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 프로그램.

제9항에 있어서,상기 멀티모달 센서 데이터는 라이다(LiDAR)를 통해 수집되는 라이다 포인트 클라우드, 카메라를 통해 입력된 이미지, GPS(Global Positioning System)에 기반하여 측정된 위치를 통해 획득되는 고해상도 지도, 및 레이더(Radar)를 통해 수집되는 레이더 포인트 클라우드를 포함하고,상기 멀티모달 센서 데이터에 기반하여 생성되는 피처들은 상기 라이다 포인트 클라우드에서 3D CNN(Convolutional Neural Network)을 이용하여 추출되는 제1 피처, 상기 이미지에서 EfficientDet를 이용하여 추출되는 제2 피처, 상기 고해상도 지도에서 ViT(Vision Transformer)를 이용하여 추출되는 제3 피처, 및 상기 레이더 포인트 클라우드에서 TransCAR을 이용하여 추출되는 제4 피처를 포함하는 것을 특징으로 하는 컴퓨터 프로그램.

적어도 하나의 컴퓨터 장치에 의해 구현되는 객체 검출 시스템에 있어서,상기 객체 검출 시스템은 다중 슬레이브 트랜스포머, 마스터 트랜스포머 및 적응형 제어기를 포함하고,상기 적어도 하나의 컴퓨터 장치는 적어도 하나의 프로세서를 포함하고,상기 적어도 하나의 프로세서에 의해, 서로 상이한 복수의 센서들로부터 수신되는 멀티모달 센서 데이터에 기반하여 생성되는 피처들을 상기 다중 슬레이브 트랜스포머를 이용하여 처리하여 복수의 피처 맵을 생성하고,상기 적응형 제어기를 이용하여, 상기 마스터 트랜스포머가 생성한 기존 글로벌 피처 맵의 마지막 타임 스텝의 피처 벡터를 추출하고, 상기 피처 벡터에 비선형 활성화 함수, 가중치, 및 편향을 적용하여 제어 신호를 생성하고, 상기 복수의 피처 맵들에 상기 제어 신호를 입력하여 가중치를 동적으로 업데이트하고,상기 마스터 트랜스포머를 이용하여 상기 가중치가 동적으로 업데이트된 피처 맵들을 통합하여 글로벌 피처 맵을 생성하는 것을 특징으로 하는 객체 검출 시스템.

제15항에 있어서,상기 피처들을 처리하기 위해, 상기 적어도 하나의 프로세서에 의해,상기 피처들을 복수의 장면 구역들로 분할하고, 상기 복수의 장면 구역들 각각마다 대응하는 슬레이브 트랜스포머의 크로스 어텐션을 사용하여 해당 장면 구역이 포함하는 상기 복수의 센서들의 피처들을 결합하는 것을 특징으로 하는 객체 검출 시스템.

제15항에 있어서,상기 가중치를 동적으로 업데이트하기 위해, 상기 적어도 하나의 프로세서에 의해,도로 상태에 따른 동적 강화 학습(Dynamic Reinforcement Learning, Dynamic RL)에 기반하여 상기 제어 신호를 상기 복수의 피처 맵들에 입력하여 상기 가중치를 조정하는 것을 특징으로 하는 객체 검출 시스템.

삭제

제15항에 있어서,상기 적어도 하나의 프로세서에 의해, 마스터 트랜스포머를 이용하여 상기 글로벌 피처 맵을 이용하여 객체의 위치를 예측하고, 경계 상자와 라벨을 생성하고,상기 멀티모달 센서 데이터를 상기 경계 상자와 상기 라벨을 포함하여 시각화하는 것을 특징으로 하는 객체 검출 시스템.

제15항에 있어서,상기 멀티모달 센서 데이터는 라이다(LiDAR)를 통해 수집되는 라이다 포인트 클라우드, 카메라를 통해 입력된 이미지, GPS(Global Positioning System)에 기반하여 측정된 위치를 통해 획득되는 고해상도 지도, 및 레이더(Radar)를 통해 수집되는 레이더 포인트 클라우드를 포함하고,상기 멀티모달 센서 데이터에 기반하여 생성되는 피처들은 상기 라이다 포인트 클라우드에서 3D CNN(Convolutional Neural Network)을 이용하여 추출되는 제1 피처, 상기 이미지에서 EfficientDet를 이용하여 추출되는 제2 피처, 상기 고해상도 지도에서 ViT(Vision Transformer)를 이용하여 추출되는 제3 피처, 및 상기 레이더 포인트 클라우드에서 TransCAR을 이용하여 추출되는 제4 피처를 포함하는 것을 특징으로 하는 객체 검출 시스템.