트레이닝 데이터 세트를 이용하여 딥러닝 기반 결함 분류 모델을 학습하되, 상이한 앙상블 기반 학습 기법과 비용 민감 학습 기법을 적용하여 상기 딥러닝 기반 결함 분류 모델을 학습하는 학습부;상기 하수도 동영상을 각 프레임 단위로 상기 학습된 딥러닝 기반 결함 분류 모델에 적용하여 결함 영역이 존재하는 결함 프레임들을 분류하는 결함 분류부;상기 하수도 동영상의 각 프레임에 포함된 자막 정보를 인식하여 결함 관련 컨텍스트 정보를 추출하는 텍스트 인식부; 및상기 결함 프레임들과 상기 결함 관련 컨텍스트 정보를 이용하여 하수도 조사 보고서를 생성하는 보고서 생성부를 포함하되,상기 하수도 동영상은 각 프레임에 자막 정보가 포함되되, 상기 자막 정보는 조사 시작 캡션, 상기 조사 시작 캡션을 기준으로 각 프레임에 해당하는 하수도 위치까지의 이동 거리, 조사 날짜, 조사 시간, 하수도 유형 및 하수도 식별정보 중 적어도 하나를 포함하며,상기 텍스트 인식부는, 상기 하수도 동영상 중 일부 프레임에 대해 상기 조사 시작 캡션에 대한 템플릿에 대한 매칭 여부를 수행하되, 매칭되는 프레임 검출시 검출된 프레임 이전의 프레임들은 검사 대상 프레임이 아닌 것으로 판단하여 제거하되,상기 텍스트 인식부에 의해 상기 하수도 동영상의 각 프레임에 포함된 자막 정보 중 동일한 이동 거리가 인식된 이후 시작 시간 및 종료 시간이 기준 시간을 초과하는 경우, 해당하는 프레임들은 결함이 존재하는 것으로 인식되어 상기 학습된 딥러닝 기반 결함 분류 모델에 입력되어 결함 영역의 존재 여부가 검사되는 것을 특징으로 하는 딥러닝 기반 하수도 결함 감지 장치.

삭제

삭제

삭제

제1 항에 있어서, 상기 결함 분류부는, 상기 딥러닝 기반 결함 분류 모델에서 추출된 특징맵을 이용하여 결함 영역이 강조된 클래스 활성화 맵 및 레이어 활성화 시각화 맵을 생성하되, 상기 클래스 활성화 맵 및 상기 레이어 활성화 시각화 맵은 상기 결함 프레임의 분류 결과 설명에 이용되는 것을 특징으로 하는 딥러닝 기반 하수도 결함 감지 장치.

제1 항에 있어서, 상기 학습부는, 상기 XGBoost(Extream gradient boosting) 기법과 LightGBM(light gradient boosting machine) 기법을 이용하여 상기 딥러닝 기반 결함 분류 모델을 학습하되, 결함 분류 클래스별로 서로 다른 오분류 비용을 할당하여 상기 딥러닝 기반 결함 분류 모델을 학습하는 것을 특징으로 하는 딥러닝 기반 하수도 결함 감지 장치.

(a) 트레이닝 데이터 세트를 이용하여 딥러닝 기반 결함 분류 모델을 학습하되, 상이한 앙상블 기반 학습 기법과 비용 민감 학습 기법을 적용하여 상기 딥러닝 기반 결함 분류 모델을 학습하는 단계;(b) 상기 하수도 동영상을 각 프레임 단위로 상기 학습된 딥러닝 기반 결함 분류 모델에 적용하여 결함 영역이 존재하는 결함 프레임들을 분류하는 단계;(c) 상기 하수도 동영상의 각 프레임에 포함된 자막 정보를 인식하여 결함 관련 컨텍스트 정보를 추출하는 단계; 및 (d) 상기 결함 프레임들과 상기 결함 관련 컨텍스트 정보를 이용하여 하수도 조사 보고서를 생성하는 단계를 포함하되,상기 하수도 동영상은 각 프레임에 자막 정보가 포함되되, 상기 자막 정보는 조사 시작 캡션, 상기 조사 시작 캡션을 기준으로 각 프레임에 해당하는 하수도 위치까지의 이동 거리, 조사 날짜, 조사 시간, 하수도 유형 및 하수도 식별정보 중 적어도 하나를 포함하되, 상기 (c) 단계는, 상기 하수도 동영상에 대한 일부 프레임에 대해 상기 조사 시작 캡션에 대한 템플릿의 매칭 여부를 판단하여 매칭되는 프레임 검출시 검출된 프레임 이전의 프레임들은 검사 대상 프레임이 아닌 것으로 판단하여 제거하며,상기 (b) 단계는, 상기 하수도 동영상의 각 프레임에 포함된 자막 정보 중 동일한 이동 거리가 인식된 이후 시작 시간 및 종료 시간이 기준 시간을 초과하는 경우, 해당하는 프레임들은 결함이 존재하는 것으로 인식되어 상기 학습된 딥러닝 기반 결함 분류 모델에 입력되어 결함 영역의 존재 여부가 검사되는 것을 특징으로 하는 딥러닝 기반 하수도 결함 감지 방법.

삭제

삭제

삭제

제7 항에 있어서, 상기 (b) 단계는, 상기 딥러닝 기반 결함 분류 모델에서 추출된 특징맵을 이용하여 결함 영역이 강조된 클래스 활성화 맵 및 레이어 활성화 시각화 맵을 생성하되, 상기 클래스 활성화 맵 및 상기 레이어 활성화 시각화 맵은 상기 결함 프레임의 분류 결과 설명에 이용되는 것을 특징으로 하는 딥러닝 기반 하수도 결함 감지 방법.

제7 항에 있어서, 상기 (a) 단계는, XGBoost(Extream gradient boosting) 기법과 LightGBM(light gradient boosting machine) 기법을 이용하여 상기 딥러닝 기반 결함 분류 모델을 학습하되, 결함 분류 클래스별로 서로 다른 오분류 비용을 할당하여 상기 딥러닝 기반 결함 분류 모델을 학습하는 것을 특징으로 하는 딥러닝 기반 하수도 결함 감지 방법.

제7 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체.