자동화된 상자 인식을 위한 인공 신경망 네트워크와, 상자 인식 방법 및 연산 장치, 그리고 이의 기록매체
Artificial neural network for automated box recognition, box recognition method and computing device, and recording medium thereof
특허 요약
본 발명의 인공 신경망 네트워크는, Box와 No Box라는 2가지 클래스를 갖는 제1 학습 데이터를 통해 학습되어 상자가 보관된 영역의 빈 위치를 식별하는 제1 인공 신경망 모델, 동일 클래스에 속한 상자들이 층층이 적재된 상자 스택과 상기 스택을 설명하는 인스턴스를 라벨링으로 갖는 제2 학습 데이터를 통해 학습되어 상기 상자 스택에 속한 상자의 클래스와 개수를 식별하는 제2 인공 신경망 모델을 포함한다.
청구항
번호청구항
1

Box와 No Box라는 2가지 클래스를 갖는 제1 학습 데이터를 통해 학습되어 상자가 보관된 영역의 빈 위치를 식별하는 제1 인공 신경망 모델;동일 클래스에 속한 상자들이 층층이 적재된 상자 스택과 상기 스택을 설명하는 인스턴스를 라벨링으로 갖는 제2 학습 데이터를 통해 학습되어 상기 상자 스택에 속한 상자의 클래스와 개수를 식별하는 제2 인공 신경망 모델;을 포함하는 인공 신경망 네트워크.

2

제1항에 있어서,상기 제1 인공 신경망 모델은, MobileNet에 기반해 구현된, 인공 신경망 네트워크.

3

제1항에 있어서,상기 제1 학습 데이터는 ROI가 적용된 비디오의 프레임에서 추출된, 인공 신경망 네트워크.

4

제1항에 있어서,상기 제2 인공 신경망 모델은, EGC-YOLO에 기반해 구현된, 인공 신경망 네트워크.

5

제4항에 있어서,상기 EGC-YOLO는, 백본, 넥, 헤드를 갖는 네트워크 구조로,상기 백본은 Conv, ECGNet 및 MP 레이어를 포함되고,상기 넥은 Conv, Upsample, MP, 연결 및 다중 스케일 특징 융합 모드(multi-scale feature fusion mode)가 있는 ECGNet을 포함하는,인공 신경망 네트워크.

6

제1항에 있어서,상기 제2 인공 신경망 모델은, GhostConv Module, Conv-GhostConv Stack (CGStack) Module, ELAN-GhostConv Network 중 적어도 하나를 포함하는, 인공 신경망 네트워크.

7

제1항에 있어서,상기 제2 학습 데이터의 인스턴스는, 클래스, 경계 상자 중심(x), 경계 상자 중심(y), 정규화된 너비 및 정규화된 높이를 포함하는, 인공 신경망 네트워크.

8

제7항에 있어서,상기 제2 인공 신경망 모델은, 아래 알고리즘 1에 따라 상자 개수를 카운팅하는, 인공 신경망 네트워크.

9

상자가 보관된 영역의 빈 위치를 식별하는 제1 인공 신경망 모델과 상자 스택에 속한 상자의 클래스와 개수를 식별하는 제2 인공 신경망 모델을 포함하는 인공 신경망 네트워크를 통해 상자 스택에서 상자를 인식하는 방법에 관한 것으로,Box와 No Box라는 2가지 클래스를 갖는 제1 학습 데이터를 통해 상기 제1 인공 신경망 모델이 학습하는 제1 단계와,동일 클래스에 속한 상자들이 층층이 적재된 상자 스택과 상기 스택을 설명하는 인스턴스를 라벨링으로 갖는 제2 학습 데이터를 통해 상기 제2 인공 신경망 모델이 학습하는 제2 단계와,상기 상자 스택으로부터 이미지를 획득해서 학습된 바에 따라서 획득된 이미지속 상자 스택에서 상자의 클래스와 개수를 추론하는 제3 단계,를 포함하는, 상자 인식 방법.

10

제9항에 있어서,상기 제1 인공 신경망 모델은, MobileNet에 기반해 구현된, 상자 인식 방법.

11

제9항에 있어서,상기 제1 학습 데이터는 ROI가 적용된 비디오의 프레임에서 추출된, 상자 인식 방법.

12

제9항에 있어서,상기 제2 인공 신경망 모델은, EGC-YOLO에 기반해 구현된, 상자 인식 방법.

13

제12항에 있어서,상기 EGC-YOLO는, 백본, 넥, 헤드를 갖는 네트워크 구조로,상기 백본은 Conv, ECGNet 및 MP 레이어를 포함되고,상기 넥은 Conv, Upsample, MP, 연결 및 다중 스케일 특징 융합 모드(multi-scale feature fusion mode)가 있는 ECGNet을 포함하는,상자 인식 방법.

14

제9항에 있어서,상기 제2 인공 신경망 모델은, GhostConv Module, Conv-GhostConv Stack (CGStack) Module, ELAN-GhostConv Network 중 적어도 하나를 포함하는, 상자 인식 방법.

15

제9항에 있어서,상기 제2 학습 데이터의 인스턴스는, 클래스, 경계 상자 중심(x), 경계 상자 중심(y), 정규화된 너비 및 정규화된 높이를 포함하는, 상자 인식 방법.

16

제15항에 있어서,상기 제3 단계에서, 상기 제2 인공 신경망 모델은 아래 알고리즘 1에 따라 상자 개수를 카운팅하는, 상자 인식 방법.

17

제1 항 내지 제9항 중 어느 한 항에 기재된 인공 신경망 네크워크를 저장한 기록 매체.

18

상자가 보관된 영역의 빈 위치를 식별하는 제1 인공 신경망 모델과 상자 스택에 속한 상자의 클래스와 개수를 식별하는 제2 인공 신경망 모델을 포함하는 인공 신경망 네트워크와, 상자 인식 방법을 컴퓨터가 읽을 수 있도록 코딩된 프로그램을 저장하는 메모리; 및상기 프로그램을 실행하는 프로세서;를 포함하고,상기 상자 인식 방법은,Box와 No Box라는 2가지 클래스를 갖는 제1 학습 데이터를 통해 상기 제1 인공 신경망 모델을 학습시키는 제1 단계와,동일 클래스에 속한 상자들이 층층이 적재된 상자 스택과 상기 스택을 설명하는 인스턴스를 라벨링으로 갖는 제2 학습 데이터를 통해 상기 제2 인공 신경망 모델을 학습시키는 제2 단계와,작업장에 놓여진 상자 스택으로부터 이미지를 획득해서 학습된 바에 따라서 획득된 이미지속 상자 스택에서 상자의 클래스와 개수를 추론하는 제3 단계;를 포함하는, 연산 장치.