건설 장비의 불안전 동작 감지 방법 및 시스템
METHOD AND SYSTEM FOR DETECTING UNSAFE OPERATION OF CONSTRUCTION EQUIPMENT
특허 요약
본 발명은, 건설 장비의 운용 시나리오와 관련된 이미지를 수신하고, 이미지를 고해상도 이미지로 변환하며, 고해상도 이미지에서 건설 장비를 감지하고, 감지된 건설 장비의 동작에 따른 안전 상태를 분류하며, 분류된 안전 상태를 기반으로 미리 정해진 동작 카테고리에 따라 건설 장비의 동작을 분류하는, 불안전 동작 감지 방법을 제공한다.
청구항
번호청구항
1

불안전 동작 감지 시스템을 이용한 불안전 동작 감지 방법에 있어서,건설 장비의 운용 시나리오와 관련된 이미지를 수신하고, 상기 이미지를 고해상도 이미지로 변환하는 단계;상기 고해상도 이미지에서 건설 장비를 감지하는 단계;상기 감지된 건설 장비의 동작에 따른 안전 상태를 분류하는 단계; 및상기 분류된 안전 상태를 기반으로 미리 정해진 동작 카테고리에 따라 상기 건설 장비의 동작을 분류하는 단계를 포함하는, 불안전 동작 감지 방법.

2

제1 항에 있어서, 상기 고해상도 이미지로 변환하는 단계는,건설 현장에 구비되는 카메라로부터 상기 건설 현장이 촬영된 영상을 수신하는 단계; 및상기 수신된 영상에서 미리 정해진 프레임 간격에 따른 특정 프레임을 상기 이미지로서 추출하는 단계를 포함하는, 불안전 동작 감지 방법.

3

제1 항에 있어서, 상기 고해상도 이미지로 변환하는 단계는,학습용 저해상도 이미지 및, 상기 학습용 저해상도 이미지에 대한 레이블 데이터인 실제 고해상도 이미지를 기반으로 미리 학습된 초해상화 모델을 이용하여 상기 수신된 이미지를 상기 고해상도 이미지로 변환하는, 불안전 동작 감지 방법.

4

제1 항에 있어서, 상기 건설 장비를 감지하는 단계는,학습용 이미지 및, 상기 학습용 이미지에 대한 레이블 데이터인 정답 건설 장비를 기반으로 미리 학습된 객체 감지 모델을 이용하여 상기 고해상도 이미지로부터 건설 장비의 종류를 특정하고,상기 정답 건설 장비는, 상기 학습용 이미지에서 건설 장비가 존재하는 영역에 대한 바운딩 박스 및, 건설 장비의 종류에 대응되는 클래스가 매칭된 것인, 불안전 동작 감지 방법.

5

제4 항에 있어서, 상기 건설 장비의 종류는,제1 굴착기(Backhoe), 제2 굴착기(Excavator), 불도저, 덤프 트럭 및 로더가 포함되는, 불안전 동작 감지 방법.

6

제1 항에 있어서, 상기 안전 상태를 분류하는 단계는,건설 장비의 종류별로 안전 동작 및 불안전 동작 중 어느 하나에 해당하는 제1 학습용 이미지 및, 다른 하나에 해당하는 제2 학습용 이미지를 기반으로 미리 학습된 안전 상태 분류 모델을 이용하여, 건설 장비의 종류가 특정된 상기 고해상도 이미지로부터 건설 장비의 상기 안전 상태를 특정하는, 불안전 동작 감지 방법.

7

제1 항에 있어서, 상기 건설 장비의 동작을 분류하는 단계는,건설 장비의 종류별로 분류된 안전 상태별 학습용 이미지 및, 상기 학습용 이미지에 대한 레이블 데이터인 정답 동작 카테고리를 기반으로 미리 학습된 작업 분류 모델을 이용하여, 상기 안전 상태가 특정된 상기 고해상도 이미지로부터 건설 장비가 수행 중인 작업에 해당하는 동작 카테고리를 특정하는, 불안전 동작 감지 방법.

8

제7 항에 있어서, 상기 작업 분류 모델은,건설 장비의 종류와 함께, 안전 상태별로 분류된 상기 학습용 이미지 및, 건설 장비의 종류 및 안전 상태별 상기 정답 동작 카테고리를 기반으로 작업 분류 모델의 구조가 구현되고, 상기 구조에 대한 구현이 완료되는 경우, 상기 학습용 이미지를 건설 장비의 종류 및 안전 상태별로 구분하여 특징 벡터를 추출하고, 건설 장비의 종류 및 안전 상태와 함께, 상기 추출된 특징 벡터에 대응되는 상기 동작 카테고리를 특정하도록 학습되는 것인, 불안전 동작 감지 방법.

9

건설 장비의 운용 시나리오와 관련된 이미지를 수신하는 입력부; 및상기 이미지를 기반으로 건설 장비에 대한 안전 상태를 분류하는 제어부를 포함하고,상기 제어부는,상기 이미지를 고해상도 이미지로 변환하고, 상기 고해상도 이미지에서 건설 장비를 감지하며, 상기 감지된 건설 장비의 동작에 따른 안전 상태를 분류하고, 상기 분류된 안전 상태를 기반으로 미리 정해진 동작 카테고리에 따라 상기 건설 장비의 동작을 분류하는, 불안전 동작 감지 시스템.

10

전자기기에서 하나 이상의 프로세스에 의하여 실행되며, 컴퓨터로 판독될 수 있는 기록매체에 저장된 프로그램으로서,상기 프로그램은,불안전 동작 감지 시스템을 이용한 불안전 동작 감지 방법에 있어서,건설 장비의 운용 시나리오와 관련된 이미지를 수신하고, 상기 이미지를 고해상도 이미지로 변환하는 단계;상기 고해상도 이미지에서 건설 장비를 감지하는 단계;상기 감지된 건설 장비의 동작에 따른 안전 상태를 분류하는 단계; 및상기 분류된 안전 상태를 기반으로 미리 정해진 동작 카테고리에 따라 상기 건설 장비의 동작을 분류하는 단계를 수행하도록 하는 명령어들을 포함하는 것을 특징으로 하는 컴퓨터로 판독될 수 있는 기록매체에 저장된 프로그램.