제19 항에 있어서,상기 히트맵을 출력하는 단계는, 상기 프로세서에 의해, 상기 MFFB 모듈로부터 출력된 상기 정제된 히트맵을 기반으로 학습된 상기 모델 추론 모듈이 상기 소형 객체의 중심 위치를 출력하는패치 단위 히트맵 기반 앵커 프리 검출 방법.

제12 항에 있어서,상기 학습시키는 단계는, 상기 프로세서에 의해, 상기 고해상도 이미지 내 소형 객체의 크기에 따라 동적으로 할당된 가중치로 구성된 가중치 마스크를 상기 모델 추론 모듈에 적용하는 패치 단위 히트맵 기반 앵커 프리 검출 방법.

제21 항에 있어서,상기 적용하는 단계는, 상기 프로세서에 의해, 상기 고해상도 이미지 내 전체 소형 객체의 경계 상자 면적을 계산하고,상기 프로세서에 의해, 상기 소형 객체의 개수 및 상기 경계 상자 면적을 이용하여 전체 소형 객체의 평균 면적을 도출하며,상기 소형 객체의 평균 면적 대비 각 소형 객체의 경계 상자 면적 비율을 기준으로 상기 각 소형 객체에 적용할 가중치 값을 계산하는패치 단위 히트맵 기반 앵커 프리 검출 방법.

소형 객체 탐지를 위한 앵커 프리 검출 동작의 수행을 위한 적어도 하나의 프로세스가 저장된 메모리; 및 상기 프로세스에 따라 상기 동작을 수행하는 적어도 하나의 프로세서;를 포함하고,상기 적어도 하나의 프로세서는,상기 탐지 대상인 상기 소형 객체를 포함하는 고해상도 이미지를 입력 받아, 상기 고해상도 이미지를 서로 겹치지 않도록 복수의 패치로 분할하고,상기 분할된 각 패치를 히트맵 생성 네트워크에 입력하여, 상기 각 패치에 대한 2D 가우시안 커널 기반 히트맵을 생성하고,상기 생성된 히트맵을 다중 스케일 특징 융합부(MFFB, Multi-scale Feature Fusion Block) 모듈에 입력하여, 복수 스케일에 따른 객체 특징이 포함된 정제된 히트맵을 출력하고,상기 정제된 히트맵을 학습 데이터로 사용하여 상기 소형 객체를 탐지하는 모델 추론 모듈을 학습시키되,상기 각 패치에 대해 의사 실측 기준값(Pseudo labeling ground-truth) 라벨을 획득하여 라벨링하고,상기 고해상도 이미지 내 소형 객체의 좌표를 기준으로 2D 가우시안 커널 기반 히트맵을 생성하고,상기 생성된 히트맵에 원근 변환 매트릭스를 적용하여, 상기 소형 객체의 실제 이미지 크기에 대응하도록 상기 히트맵을 맵핑하고,상기 맵핑된 히트맵으로부터 상기 2D 가우시안 커널의 좌표를 상기 의사 실측 기준값 라벨로 획득하며,상기 2D 가우시안 커널은,아래 [수학식 1] 및 [수학식 2]를 기반으로 상기 히트맵을 생성하는패치 단위 히트맵 기반 앵커 프리 검출을 수행하는 전자 장치.[수학식 1]이때, (x, y)는 소형 객체의 위치 좌표, (u,v)는 객체 중심 좌표이며, σ는 2D 가우시안 커널의 표준 편차이다.[수학식 2]이때, w는 스케일링(scaling) 계수이고, 는 특정 위치의 x축 좌표이고, 는 특정 위치의 y축 좌표이고, M은 원근 변환(perspective transform)을 수행하기 위한 변환 매트릭스이고, 는 소스 포인트 좌표에 M을 곱하여 획득된 목표 이미지 내의 새로운 x축 좌표이며, 는 소스 포인트 좌표에 M을 곱하여 획득된 목표 이미지 내의 새로운 y축 좌표이다.

삭제

삭제

삭제

제1 항에 있어서,상기 적어도 하나의 프로세서는,상기 각 패치에 대한 상기 의사 실측 기준값 라벨과 상기 정제된 히트맵 간의 손실 함수를 기반으로, 상기 손실 함수가 최소화되도록 상기 히트맵 생성 네트워크 및 상기 MFFB 모듈을 학습시키는패치 단위 히트맵 기반 앵커 프리 검출을 수행하는 전자 장치.

제1 항에 있어서,상기 히트맵 생성 네트워크는 인코더-디코더 구조의 백본 네트워크인 것을 특징으로 하는패치 단위 히트맵 기반 앵커 프리 검출을 수행하는 전자 장치.

제1 항에 있어서,상기 MFFB 모듈은 상이한 스케일의 컨볼루션 필터와 풀링 레이어를 포함하는 복수의 브랜치로 구성된 것을 특징으로 하는 패치 단위 히트맵 기반 앵커 프리 검출을 수행하는 전자 장치.

제7 항에 있어서,상기 적어도 하나의 프로세서는,상기 MFFB 모듈의 상기 복수의 브랜치로부터 출력된 히트맵을 통합하여 상기 정제된 히트맵을 생성하는패치 단위 히트맵 기반 앵커 프리 검출을 수행하는 전자 장치.

제8 항에 있어서,상기 적어도 하나의 프로세서는,상기 MFFB 모듈로부터 출력된 상기 정제된 히트맵을 기반으로 학습된 상기 모델 추론 모듈이 상기 소형 객체의 중심 위치를 출력하는 패치 단위 히트맵 기반 앵커 프리 검출을 수행하는 전자 장치.

제1 항에 있어서,상기 적어도 하나의 프로세서는,상기 고해상도 이미지 내 소형 객체의 크기에 따라 동적으로 할당된 가중치로 구성된 가중치 마스크를 상기 모델 추론 모듈에 적용하는패치 단위 히트맵 기반 앵커 프리 검출을 수행하는 전자 장치.

제10 항에 있어서,상기 적어도 하나의 프로세서는,상기 고해상도 이미지 내 전체 소형 객체의 경계 상자 면적을 계산하고,상기 소형 객체의 개수 및 상기 경계 상자 면적을 이용하여 상기 전체 소형 객체의 평균 면적을 도출하고,상기 소형 객체의 평균 면적 대비 각 소형 객체의 경계 상자 면적 비율을 기준으로 상기 각 소형 객체에 적용할 가중치 값을 계산하는 패치 단위 히트맵 기반 앵커 프리 검출을 수행하는 전자 장치.

장치의 프로세서에 의해 수행되는 패치 단위 히트맵 기반 앵커 프리 검출 방법으로서, 상기 방법은,상기 프로세서에 의해, 탐지 대상인 소형 객체를 포함하는 고해상도 이미지를 입력받아, 상기 고해상도 이미지를 서로 겹치지 않도록 복수의 패치로 분할하는 단계;상기 프로세서에 의해, 상기 분할된 각 패치를 히트맵 생성 네트워크에 입력하여, 상기 각 패치에 대한 2D 가우시안 커널 기반 히트맵을 생성하는 단계;상기 프로세서에 의해, 상기 생성된 히트맵을 다중 스케일 특징 융합부(MFFB, Multi-scale Feature Fusion Block) 모듈에 입력하여, 복수 스케일에 따른 객체 특징이 포함된 정제된 히트맵을 출력하는 단계; 및상기 프로세서에 의해, 상기 정제된 히트맵을 학습 데이터로 사용하여 상기 소형 객체를 탐지하는 모델 추론 모듈을 학습시키는 단계를 포함하되,상기 프로세서에 의해, 상기 각 패치에 대해 의사 실측 기준값(Pseudo labeling ground-truth) 라벨을 획득하여 라벨링하는 단계를 더 포함하고,상기 프로세서에 의해, 상기 고해상도 이미지 내 소형 객체의 좌표를 기준으로 2D 가우시안 커널 기반 히트맵을 생성하는 단계를 더 포함하고,상기 프로세서에 의해, 상기 생성된 히트맵에 원근 변환 매트릭스를 적용하여, 상기 소형 객체의 실제 이미지 크기에 대응하도록 상기 히트맵을 맵핑하는 단계를 더 포함하고,상기 프로세서에 의해, 상기 맵핑된 히트맵으로부터 상기 2D 가우시안 커널의 좌표를 상기 의사 실측 기준값 라벨로 획득하는 단계를 더 포함하며,상기 2D 가우시안 커널은,아래 [수학식 1] 및 [수학식 2]를 기반으로 상기 히트맵을 생성하는패치 단위 히트맵 기반 앵커 프리 검출 방법.[수학식 1]이때, (x, y)는 소형 객체의 위치 좌표, (u,v)는 객체 중심 좌표이며, σ는 2D 가우시안 커널의 표준 편차이다.[수학식 2]이때, w는 스케일링(scaling) 계수이고, 는 특정 위치의 x축 좌표이고, 는 특정 위치의 y축 좌표이고, M은 원근 변환(perspective transform)을 수행하기 위한 변환 매트릭스이고, 는 소스 포인트 좌표에 M을 곱하여 획득된 목표 이미지 내의 새로운 x축 좌표이며, 는 소스 포인트 좌표에 M을 곱하여 획득된 목표 이미지 내의 새로운 y축 좌표이다.

삭제

삭제

삭제

제12 항에 있어서,상기 학습시키는 단계는, 상기 프로세서에 의해, 상기 각 패치에 대한 상기 의사 실측 기준값 라벨과 상기 정제된 히트맵 간의 손실 함수를 기반으로, 상기 손실 함수가 최소화되도록 상기 히트맵 생성 네트워크 및 상기 MFFB 모듈을 학습시키는패치 단위 히트맵 기반 앵커 프리 검출 방법.

제12 항에 있어서,상기 히트맵 생성 네트워크는 인코더-디코더 구조의 백본 네트워크인 것을 특징으로 하는패치 단위 히트맵 기반 앵커 프리 검출 방법.

제12 항에 있어서,상기 MFFB 모듈은 상이한 스케일의 컨볼루션 필터와 풀링 레이어를 포함하는 복수의 브랜치로 구성된 것을 특징으로 하는 패치 단위 히트맵 기반 앵커 프리 검출 방법.

제18 항에 있어서,상기 히트맵을 출력하는 단계는,상기 프로세서에 의해, 상기 MFFB 모듈의 상기 복수의 브랜치로부터 출력된 히트맵을 통합하여 상기 정제된 히트맵을 생성하는패치 단위 히트맵 기반 앵커 프리 검출 방법.

제12 항에 따른 패치 단위 히트맵 기반 앵커 프리 검출 방법을 컴퓨터 상에서 수행하도록 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 기록 매체.