객체 인식 장치 및 인식 방법, 객체 인식을 위한 학습 방법
METHOD AND APPARATUS FOR PROVIDING OBJECT RECOGNITION, LEARNING METHOD FOR OBJECT RECOGNITION
특허 요약
본 발명은 객체 인식 장치의 객체 인식 기술에 관한 것으로, 상기 객체 인식 장치 내에 기 학습된 신경망을 이용하여 도로 상에서 촬영되는 감시 영상으로부터 이륜차 객체의 특징을 추출하고, 상기 이륜차 객체의 특징을 기초로 상기 감시 영상으로부터 이륜차 영상을 검출하는 단계; 상기 신경망을 이용하여 상기 이륜차 영상에 포함된 탑승자 객체의 특징을 추출하고, 상기 탑승자 객체의 특징을 기초로 상기 이륜차 영상으로부터 탑승자 영상을 검출하는 단계; 및 상기 신경망을 이용하여 상기 탑승자 영상의 임의의 영역을 추적하고, 상기 추적을 기초로 상기 탑승자 영상에 헬멧(helmet) 객체가 포함되었는지 여부를 식별하는 단계;를 포함할 수 있다.
청구항
번호청구항
28

제 18 항에 있어서,상기 제2 단계는,상기 감시 영상을 1개 클래스의 데이터 셋과, 상기 1개 클래스의 데이터 셋을 7개 클래스로 분류한 데이터 셋으로 각각 변환하는 단계를 포함하는객체 인식을 위한 학습 방법.

1

객체 인식을 위한 프로그램이 저장된 객체 인식 장치의 객체 인식 방법에 있어서,상기 프로그램 내의 기 학습된 신경망을 이용하여 도로 상에서 촬영되는 감시 영상으로부터 이륜차 객체의 특징을 추출하고, 상기 이륜차 객체의 특징을 기초로 상기 감시 영상으로부터 이륜차 영상을 검출하는 단계;상기 신경망을 이용하여 상기 이륜차 영상에 포함된 탑승자 객체의 특징을 추출하고, 상기 탑승자 객체의 특징을 기초로 상기 이륜차 영상으로부터 탑승자 영상을 검출하는 단계; 및상기 신경망을 이용하여 상기 탑승자 영상의 임의의 영역을 추적하고, 상기 추적을 기초로 상기 탑승자 영상에 헬멧(helmet) 객체가 포함되었는지 여부를 식별하는 단계;를 포함하는객체 인식 방법.

2

제 1 항에 있어서,상기 이륜차 영상을 검출하는 단계는,상기 감시 영상으로부터 상기 이륜차 객체에 대한 바운딩 박스 영역을 크롭(crop)하는 단계; 및상기 바운딩 박스 영역을 기초로 상기 이륜차 영상 이외의 영상을 필터링하는 단계;를 포함하는객체 인식 방법.

3

제 2 항에 있어서,상기 필터링하는 단계는,상기 이륜차 영상의 과적합(over-fit)을 최소화하도록 상기 이륜차 영상을 증강(augmentation)시키는 단계를 포함하는객체 인식 방법.

4

제 1 항에 있어서,상기 탑승자 영상을 검출하는 단계는,상기 이륜차 영상으로부터 상기 탑승자 객체에 대한 바운딩 박스 영역을 크롭하는 단계; 및상기 바운딩 박스 영역을 기초로 상기 탑승자 영상 이외의 영상을 필터링하는 단계;를 포함하는객체 인식 방법.

5

제 4 항에 있어서,상기 필터링하는 단계는,상기 탑승자 영상의 과적합을 최소화하도록 상기 탑승자 영상을 증강시키는 단계를 포함하는객체 인식 방법.

6

제 1 항에 있어서,상기 식별하는 단계는,상기 탑승자 영상으로부터 운전자 영상과 동승자 영상을 분류하는 단계;상기 운전자 영상의 임의의 영역을 추적하고, 상기 운전자 영상의 추적을 기초로 상기 운전자 영상에 헬멧 객체가 포함되었는지 여부를 식별하는 단계; 및상기 동승자 영상의 임의의 영역을 추적하고, 상기 동승자 영상의 추적을 기초로 상기 동승자 영상에 헬멧 객체가 포함되었는지 여부를 식별하는 단계;를 포함하는객체 인식 방법.

7

제 1 항에 있어서,상기 헬멧 객체가 포함되었는지 여부를 식별한 후 상기 탑승자 영상에 포함된 상기 헬멧 객체의 랭킹을 확률 기반으로 결정하는 단계를 더 포함하는객체 인식 방법.

8

제 7 항에 있어서,상기 결정하는 단계는,상기 이륜차 영상을 검출한 후 상기 감시 영상에 상기 이륜차 객체가 존재할 확률에 기초한 제1 신뢰 점수(confidence score)를 계산하는 단계;상기 탑승자 영상을 검출한 후 상기 이륜차 영상에 상기 탑승자 객체가 존재할 확률에 기초한 제2 신뢰 점수를 계산하는 단계;상기 제1 신뢰 점수와 상기 제2 신뢰 점수를 합산하여 제3 신뢰 점수를 생성하는 단계;상기 헬멧 객체가 포함되었는지 여부를 식별한 후 상기 탑승자 영상에 상기 헬멧 객체가 존재할 확률에 기초한 제4 신뢰 점수를 계산하는 단계; 및상기 제3 신뢰 점수와 상기 제4 신뢰 점수를 곱하여 상기 헬멧 객체의 랭킹을 결정하는 단계;를 포함하는객체 인식 방법.

9

제 8 항에 있어서,상기 랭킹을 결정한 후 임계치 미만의 랭킹을 갖는 상기 헬멧 객체의 바운딩 박스를 제거하는 단계를 더 포함하는객체 인식 방법.

10

도로 상에 촬영되는 감시 영상을 획득하는 획득부;객체 인식을 위한 프로그램이 저장된 저장부; 및상기 감시 영상이 획득되면 상기 프로그램 내의 기 학습된 신경망을 이용하여 상기 감시 영상으로부터 이륜차 객체의 탑승자 영상을 검출하고, 상기 탑승자 영상에 헬멧 객체가 포함되었는지 여부를 식별하도록 처리하는 처리부;를 포함하는객체 인식 장치.

11

제 10 항에 있어서,상기 저장부는,상기 신경망을 이용하여 상기 감시 영상으로부터 상기 이륜차 객체의 특징을 추출하고, 상기 이륜차 객체의 특징을 기초로 상기 감시 영상으로부터 이륜차 영상을 검출하며, 상기 신경망을 이용하여 상기 이륜차 영상에 포함된 탑승자 객체의 특징을 추출하고, 상기 탑승자 객체의 특징을 기초로 상기 이륜차 영상으로부터 탑승자 영상을 검출하는 검출부; 및상기 신경망을 이용하여 상기 탑승자 영상의 임의의 영역을 추적하고, 상기 추적을 기초로 상기 탑승자 영상에 헬멧 객체가 포함되었는지 여부를 식별하는 식별부;를 포함하는객체 인식 장치.

12

제 11 항에 있어서,상기 식별부는,상기 탑승자 영상으로부터 운전자 영상과 동승자 영상을 분류하고, 상기 운전자 영상의 임의의 영역을 추적하며, 운전자 영상의 추적을 기초로 상기 운전자 영상에 헬멧 객체가 포함되었는지 여부를 식별하고, 상기 동승자 영상의 임의의 영역을 추적하며, 상기 동승자 영상의 추적을 기초로 상기 동승자 영상에 헬멧 객체가 포함되었는지 여부를 식별하는객체 인식 장치.

13

제 11 항에 있어서,상기 처리부는,상기 감시 영상으로부터 상기 이륜차 객체에 대한 바운딩 박스 영역을 크롭하고, 상기 이륜차 객체에 대한 바운딩 박스 영역을 기초로 상기 이륜차 영상 이외의 영상을 필터링하며, 상기 이륜차 영상으로부터 상기 탑승자 객체에 대한 바운딩 박스 영역을 크롭하고, 상기 탑승자 객체에 대한 바운딩 박스 영역을 기초로 상기 탑승자 영상 이외의 영상을 필터링하는 필터링부; 및상기 헬멧 객체가 포함되었는지 여부를 식별한 후 상기 탑승자 영상에 포함된 상기 헬멧 객체의 랭킹을 확률 기반으로 결정하는 랭킹 처리부;를 포함하는객체 인식 장치.

14

제 13 항에 있어서,상기 필터링부는,상기 감시 영상을 1개 클래스의 데이터 셋과, 상기 1개 클래스의 데이터 셋을 7개 클래스로 분류한 데이터 셋으로 각각 변환하는 변환부; 및상기 1개 클래스의 데이터 셋과 상기 7개 클래스로 분류한 데이터 셋을 입력으로 하여 상기 이륜차 영상의 과적합을 최소화하도록 상기 이륜차 영상 또는 상기 탑승자 영상을 증강시키는 증강부;를 포함하는객체 인식 장치.

15

제 13 항에 있어서,상기 랭킹 처리부는,상기 이륜차 영상을 검출한 후 상기 감시 영상에 상기 이륜차 객체가 존재할 확률에 기초한 제1 신뢰 점수를 계산하고, 상기 탑승자 영상을 검출한 후 상기 이륜차 영상에 상기 탑승자 객체가 존재할 확률에 기초한 제2 신뢰 점수를 계산하며, 상기 제1 신뢰 점수와 상기 제2 신뢰 점수를 합산하여 제3 신뢰 점수를 생성하고, 상기 헬멧 객체가 포함되었는지 여부를 식별한 후 상기 탑승자 영상에 상기 헬멧 객체가 존재할 확률에 기초한 제4 신뢰 점수를 계산하며, 상기 제3 신뢰 점수와 상기 제4 신뢰 점수를 곱하여 상기 헬멧 객체의 랭킹을 결정하는객체 인식 장치.

16

제 15 항에 있어서,상기 랭킹 처리부는,상기 랭킹을 결정한 후 임계치 미만의 랭킹을 갖는 상기 헬멧 객체의 바운딩 박스를 제거하는객체 인식 장치.

17

제 10 항에 있어서,상기 신경망은 YOLO V8 모델을 포함하는객체 인식 장치.

18

객체 인식을 위한 신경망이 저장된 객체 인식 장치의 학습 방법에 있어서,도로 상에서 촬영되는 감시 영상을 획득하는 제1 단계;상기 감시 영상으로부터 이륜차 객체의 탑승자 영상을 검출하도록 상기 신경망을 학습시키는 제2 단계; 및상기 탑승자 영상에 헬멧 객체가 포함되었는지 여부를 식별한 결과를 출력하도록 상기 신경망을 학습시키는 제3 단계;를 포함하는객체 인식을 위한 학습 방법.

19

제 18 항에 있어서,상기 제2 단계는,상기 이륜차 객체의 특징을 추출하는 제4 단계;상기 이륜차 객체의 특징을 기초로 상기 감시 영상으로부터 이륜차 영상을 검출하도록 상기 신경망을 학습시키는 제5 단계; 및상기 이륜차 영상에 포함된 탑승자 객체의 특징을 기초로 상기 이륜차 영상으로부터 상기 탑승자 영상을 검출하도록 상기 신경망을 학습시키는 제6 단계;를 포함하는객체 인식을 위한 학습 방법.

20

제 19 항에 있어서,상기 제5 단계는,상기 감시 영상으로부터 상기 이륜차 객체에 대한 바운딩 박스 영역을 크롭하는 단계; 및상기 바운딩 박스 영역을 기초로 상기 이륜차 영상 이외의 영상을 필터링하는 단계;를 포함하는객체 인식을 위한 학습 방법.

21

제 20 상에 있어서,상기 필터링하는 단계는,상기 이륜차 영상의 과적합을 최소화하도록 상기 이륜차 영상을 증강시키는 단계를 포함하는객체 인식을 위한 학습 방법.

22

제 19 항에 있어서,상기 제6 단계는,상기 이륜차 영상으로부터 상기 탑승자 객체에 대한 바운딩 박스 영역을 크롭하는 단계; 및상기 바운딩 박스 영역을 기초로 상기 탑승자 영상 이외의 영상을 필터링하는 단계;를 포함하는객체 인식을 위한 학습 방법.

23

제 22 항에 있어서,상기 필터링하는 단계는,상기 탑승자 영상의 과적합을 최소화하도록 상기 탑승자 영상을 증강시키는 단계를 포함하는객체 인식을 위한 학습 방법.

24

제 18 항에 있어서,상기 제3 단계는,상기 탑승자 영상으로부터 운전자 영상과 동승자 영상을 분류하는 단계;상기 운전자 영상의 임의의 영역을 추적하고, 상기 운전자 영상의 추적을 기초로 상기 운전자 영상에 헬멧 객체가 포함되었는지 여부를 식별하는 단계; 및상기 동승자 영상의 임의의 영역을 추적하고, 상기 동승자 영상의 추적을 기초로 상기 동승자 영상에 헬멧 객체가 포함되었는지 여부를 식별하는 단계;를 포함하는객체 인식을 위한 학습 방법.

25

제 18 항에 있어서,상기 헬멧 객체가 포함되었는지 여부를 식별한 후 상기 탑승자 영상에 포함된 상기 헬멧 객체의 랭킹을 확률 기반으로 결정하는 단계를 더 포함하는객체 인식을 위한 학습 방법.

26

제 25 항에 있어서,상기 결정하는 단계는,상기 이륜차 영상을 검출한 후 상기 감시 영상에 상기 이륜차 객체가 존재할 확률에 기초한 제1 신뢰 점수를 계산하는 단계;상기 탑승자 영상을 검출한 후 상기 이륜차 영상에 상기 탑승자 객체가 존재할 확률에 기초한 제2 신뢰 점수를 계산하는 단계;상기 제1 신뢰 점수와 상기 제2 신뢰 점수를 합산하여 제3 신뢰 점수를 생성하는 단계;상기 헬멧 객체가 포함되었는지 여부를 식별한 후 상기 탑승자 영상에 상기 헬멧 객체가 존재할 확률에 기초한 제4 신뢰 점수를 계산하는 단계; 및상기 제3 신뢰 점수와 상기 제4 신뢰 점수를 곱하여 상기 헬멧 객체의 랭킹을 결정하는 단계;를 포함하는객체 인식을 위한 학습 방법.

27

제 26 항에 있어서,상기 랭킹을 결정한 후 임계치 미만의 랭킹을 갖는 상기 헬멧 객체의 바운딩 박스를 제거하는 단계를 더 포함하는객체 인식을 위한 학습 방법.

29

컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,상기 컴퓨터 프로그램은,객체 인식을 위한 프로그램이 저장된 객체 인식 장치의 객체 인식 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하고,상기 방법은,상기 프로그램 내의 기 학습된 신경망을 이용하여 도로 상에서 촬영되는 감시 영상으로부터 이륜차 객체의 특징을 추출하고, 상기 이륜차 객체의 특징을 기초로 상기 감시 영상으로부터 이륜차 영상을 검출하는 단계;상기 신경망을 이용하여 상기 이륜차 영상에 포함된 탑승자 객체의 특징을 추출하고, 상기 탑승자 객체의 특징을 기초로 상기 이륜차 영상으로부터 탑승자 영상을 검출하는 단계; 및상기 신경망을 이용하여 상기 탑승자 영상의 임의의 영역을 추적하고, 상기 추적을 기초로 상기 탑승자 영상에 헬멧 객체가 포함되었는지 여부를 식별하는 단계;를 포함하는컴퓨터 판독 가능한 기록매체.

30

컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램으로서,상기 컴퓨터 프로그램은,객체 인식을 위한 프로그램이 저장된 객체 인식 장치의 객체 인식 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하고,상기 방법은,상기 프로그램 내의 기 학습된 신경망을 이용하여 도로 상에서 촬영되는 감시 영상으로부터 이륜차 객체의 특징을 추출하고, 상기 이륜차 객체의 특징을 기초로 상기 감시 영상으로부터 이륜차 영상을 검출하는 단계;상기 신경망을 이용하여 상기 이륜차 영상에 포함된 탑승자 객체의 특징을 추출하고, 상기 탑승자 객체의 특징을 기초로 상기 이륜차 영상으로부터 탑승자 영상을 검출하는 단계; 및상기 신경망을 이용하여 상기 탑승자 영상의 임의의 영역을 추적하고, 상기 추적을 기초로 상기 탑승자 영상에 헬멧 객체가 포함되었는지 여부를 식별하는 단계;를 포함하는기록매체에 저장된 컴퓨터 프로그램.