프로세서 및 메모리를 포함하는 컴퓨팅 장치에 의해 수행되는, 카테고리 기반 도메인 학습을 통한 다중 도메인 객체 감지 방법으로서,상기 프로세서가, 사전 학습이 수행된 모델로부터 교사(teacher) 모델 및 학생(student) 모델을 생성하는 단계;상기 프로세서가, 객체를 감지하고자 하는 대상 이미지(target image)에 대해 약한 증강(weak augmentation)이 적용된 이미지를 상기 교사 모델에 입력하는 단계;상기 프로세서가, 상기 교사 모델에서 생성된 의사 라벨(pseudo label)이 미리 설정된 임계값 미만인지 판정하는 단계;상기 의사 라벨이 상기 임계값 미만인 것으로 판정된 경우, 상기 프로세서가 상기 의사 라벨에 대응하는 클래스에 대해 부정 학습(negative learning)을 수행하는 단계;상기 프로세서가, 상기 대상 이미지에 대해 강한 증강(strong augmentation)이 적용된 이미지를 상기 학생 모델에 입력하는 단계;상기 프로세서가, 상기 학생 모델로부터 생성된 제1 예측 결과(prediction)와 상기 의사 라벨을 비교하여 비지도 손실을 계산하는 단계;상기 프로세서가, 상기 학생 모델에서 정해진 지수 이동 평균(exponential moving average, EMA)을 사용하여 상기 교사 모델을 업데이트 하는 단계; 및상기 교사 모델을 이용하여 다른 도메인의 이미지에서 객체를 감지하는 단계를 포함하는다중 도메인 객체 감지 방법.

제1항에 있어서,상기 프로세서가, 상기 학생 모델에서 생성된 특징 맵(feature map)을 제1 판별기에 통과시킨 후, 상기 제1 예측 결과를 생성하는 제1 헤드(head)에 전달하는 단계를 더 포함하는, 다중 도메인 객체 감지 방법.

제1항에 있어서,상기 교사 모델에서 의사 라벨이 미리 설정된 임계값 미만인지 판정하는 단계는,상기 프로세서가, 상기 의사 라벨 중 가장 높은 클래스 확률 값을 갖는 제1 의사 라벨이 상기 임계값 미만인지 판정하는 단계를 포함하고,상기 부정 학습을 수행하는 단계는,상기 제1 의사 라벨이 상기 임계값 미만인 것으로 판정된 경우, 상기 프로세서가, 상기 의사 라벨에서 상기 제1 의사 라벨을 제외한 나머지 중에서 k 개(여기서, k는 자연수)의 의사 라벨을 선정하는 단계; 및상기 프로세서가, 상기 제1 의사 라벨 및 상기 k 개의 의사 라벨에 대응하는 클래스에 대해 상기 부정 학습을 수행하는 단계를 포함하는, 다중 도메인 객체 감지 방법.

제1항에 있어서,상기 부정 학습을 수행하는 단계는,상기 프로세서가, 하기 수학식에 따른 부정 학습 손실에 기반하여 상기 부정 학습을 수행하는 단계를 포함하는, 다중 도메인 객체 감지 방법:여기서, B는 배치 크기, C는 객체의 카테고리 클래스, 은 지표 함수(indicator function), p(i)c는 클래스 c에 속하지 않을 확률, q(i)c는 i 번째 샘플에 대해 모델이 클래스 c에 대해 예측한 확률, Rank는 신뢰도 점수를 기준으로 내림차순 정렬된 순위, k는 적응적으로 계산된 상위 k 순위임.

제2항에 있어서,상기 제1 예측 결과는 클래스 예측값 및 바운딩 박스 예측값을 포함하는, 다중 도메인 객체 감지 방법.

제1항에 있어서,상기 프로세서가, 미리 마련된 제2 판별기(discriminator)에 기초하여 사전 학습을 수행하는 단계를 더 포함하는, 다중 도메인 객체 감지 방법.

제6항에 있어서,상기 사전 학습을 수행하는 단계는,상기 프로세서가, 미리 마련된 데이터 셋을 백본(backbone)에 입력하여 특징 맵(feature map)을 생성하는 단계;상기 프로세서가, 상기 특징 맵을 상기 제2 판별기에 통과시킨 후, 제2 예측 결과(prediction)를 생성하는 제2 헤드(head)에 전달하는 단계; 및상기 프로세서가, 상기 제2 예측 결과와 정답(ground truth)을 비교하여 지도 손실을 계산하고, 역전파를 통해 가중치를 업데이트하는 단계를 포함하는, 다중 도메인 객체 감지 방법.

제6항에 있어서,상기 사전 학습을 수행하는 단계는,미리 정해진 횟수(iteration) 동안 상기 사전 학습을 반복하여 수행하는 단계를 포함하는, 다중 도메인 객체 감지 방법.

제7항에 있어서,상기 제2 예측 결과는 클래스 예측값 및 바운딩 박스 예측값을 포함하는, 다중 도메인 객체 감지 방법.

제1항에 있어서,상기 교사 모델을 이용하여 다른 도메인의 이미지에서 객체를 감지하는 단계는,RGB 이미지에 관한 RGB 도메인에서 학습이 이루어진 상기 교사 모델을 이용하여, IR(Infrared) 이미지에 관한 IR 도메인, 열화상 이미지에 관한 열화상 도메인 또는 LiDAR(Light Detection And Ranging) 이미지에 관한 LiDAR 이미지에서 상기 객체를 감지하는 단계를 포함하는, 다중 도메인 객체 감지 방법.

하나 이상의 프로세서를 통해 하나 이상의 메모리 장치에 적재된 하나 이상의 인스트럭션을 실행하여 카테고리 기반 도메인 학습을 통한 객체 감지를 수행하는 다중 도메인 객체 감지 장치로서,상기 하나 이상의 인스트럭션은 실행되어, 사전 학습이 수행된 모델로부터 교사(teacher) 모델 및 학생(student) 모델을 생성하고,객체를 감지하고자 하는 대상 이미지(target image)에 대해 약한 증강(weak augmentation)이 적용된 이미지를 상기 교사 모델에 입력하고,상기 교사 모델에서 생성된 의사 라벨(pseudo label)이 미리 설정된 임계값 미만인지 판정하고,상기 의사 라벨이 상기 임계값 미만인 것으로 판정된 경우, 상기 의사 라벨에 대응하는 클래스에 대해 부정 학습(negative learning)을 수행하고,상기 대상 이미지에 대해 강한 증강(strong augmentation)이 적용된 이미지를 상기 학생 모델에 입력하고,상기 학생 모델로부터 생성된 제1 예측 결과(prediction)와 상기 의사 라벨을 비교하여 비지도 손실을 계산하고,상기 학생 모델에서 정해진 지수 이동 평균(exponential moving average, EMA)을 사용하여 상기 교사 모델을 업데이트 하고,상기 교사 모델을 이용하여 다른 도메인의 이미지에서 객체를 감지하는,다중 도메인 객체 감지 장치.

제11항에 있어서,상기 하나 이상의 인스트럭션은 실행되어 추가로, 상기 학생 모델에서 생성된 특징 맵(feature map)을 제1 판별기에 통과시킨 후, 상기 제1 예측 결과를 생성하는 제1 헤드(head)에 전달하는, 다중 도메인 객체 감지 장치.

제11항에 있어서,상기 교사 모델에서 의사 라벨이 미리 설정된 임계값 미만인지 판정하는 것은,상기 의사 라벨 중 가장 높은 클래스 확률 값을 갖는 제1 의사 라벨이 상기 임계값 미만인지 판정하는 것을 포함하고,상기 부정 학습을 수행하는 것은,상기 제1 의사 라벨이 상기 임계값 미만인 것으로 판정된 경우, 상기 프로세서가, 상기 의사 라벨에서 상기 제1 의사 라벨을 제외한 나머지 중에서 k 개(여기서, k는 자연수)의 의사 라벨을 선정하고,상기 제1 의사 라벨 및 상기 k 개의 의사 라벨에 대응하는 클래스에 대해 상기 부정 학습을 수행하는 것을 포함하는, 다중 도메인 객체 감지 장치.

제11항에 있어서,상기 부정 학습을 수행하는 것은,하기 수학식에 따른 부정 학습 손실에 기반하여 상기 부정 학습을 수행하는 것을 포함하는, 다중 도메인 객체 감지 장치:여기서, B는 배치 크기, C는 객체의 카테고리 클래스, 은 지표 함수(indicator function), p(i)c는 클래스 c에 속하지 않을 확률, q(i)c는 i 번째 샘플에 대해 모델이 클래스 c에 대해 예측한 확률, Rank는 신뢰도 점수를 기준으로 내림차순 정렬된 순위, k는 적응적으로 계산된 상위 k 순위임.

제12항에 있어서,상기 제1 예측 결과는 클래스 예측값 및 바운딩 박스 예측값을 포함하는, 다중 도메인 객체 감지 장치.

제11항에 있어서,상기 하나 이상의 인스트럭션은 실행되어 추가로, 미리 마련된 제2 판별기(discriminator)에 기초하여 사전 학습을 수행하는, 다중 도메인 객체 감지 장치.

제16항에 있어서,상기 사전 학습을 수행하는 것은,미리 마련된 데이터 셋을 백본(backbone)에 입력하여 특징 맵(feature map)을 생성하고,상기 특징 맵을 상기 제2 판별기에 통과시킨 후, 제2 예측 결과(prediction)를 생성하는 제2 헤드(head)에 전달하고,상기 제2 예측 결과와 정답(ground truth)을 비교하여 지도 손실을 계산하고, 역전파를 통해 가중치를 업데이트하는 것을 포함하는, 다중 도메인 객체 감지 장치.

제16항에 있어서,상기 사전 학습을 수행하는 것은,미리 정해진 횟수(iteration) 동안 상기 사전 학습을 반복하여 수행하는 것을 포함하는, 다중 도메인 객체 감지 장치.

제17항에 있어서,상기 제2 예측 결과는 클래스 예측값 및 바운딩 박스 예측값을 포함하는, 다중 도메인 객체 감지 장치.

제11항에 있어서,상기 교사 모델을 이용하여 다른 도메인의 이미지에서 객체를 감지하는 것은,RGB 이미지에 관한 RGB 도메인에서 학습이 이루어진 상기 교사 모델을 이용하여, IR(Infrared) 이미지에 관한 IR 도메인, 열화상 이미지에 관한 열화상 도메인 또는 LiDAR(Light Detection And Ranging) 이미지에 관한 LiDAR 이미지에서 상기 객체를 감지하는 것을 포함하는, 다중 도메인 객체 감지 장치.