디에스
머신비전을 위한 딥러닝 기반 관심영역 자동생성 시스템 및 방법
System and method for automatic creating region of interest based on deep learning for machine vision
특허 요약
본 발명은 머신비전(Machine Vision) 시스템 및 방법에 관한 것으로, 본 발명에 따르면, 머신비전을 위한 관심영역(Region Of Interest ; ROI)을 사용자가 수동으로 설정해야 함으로 인해 전체적인 작업효율 및 생산성이 떨어지게 되는 한계가 있었던 종래기술의 머신비전 시스템 및 방법들의 문제점을 해결하기 위해, 입력되는 이미지에서 ROI를 설정하기 위한 기존의 룰베이스(Rule-base) 알고리즘 대신에, ResNet-50 모델의 레이어 수를 감소시키는 것에 의해 반도체와 같이 사이즈가 작은 객체의 검사에 적합하도록 이루어지는 딥러닝(Deep Learning) 기반 ROI 추정모델을 이용하여 ROI를 설정하는 처리가 자동으로 수행되도록 구성됨으로써, 머신비전의 검사대상이나 각종 조건이 변경되더라도 ROI를 재설정하기 위한 별도의 작업이 불필요하며, 그것에 의해, 전체적인 생산공정의 작업효율 및 생산성을 높일 수 있도록 구성되는 머신비전을 위한 딥러닝 기반 관심영역 자동생성 시스템 및 방법이 제공된다.
청구항
번호청구항
1

제 1항에 있어서, 상기 입력부는, 카메라나 CCTV를 통해 촬영된 제품 영상이나 이미지를 직접 입력받거나, 또는 미리 촬영된 영상이나 이미지를 외부로부터 수신하는 처리가 수행되도록 구성되는 것을 특징으로 하는 머신비전을 위한 딥러닝 기반 관심영역 자동생성 시스템.

1

삭제

1

머신비전을 위한 딥러닝 기반 관심영역 자동생성 시스템에 있어서, 머신비전을 수행하기 위한 제품의 영상이나 이미지를 입력받는 처리가 수행되도록 이루어지는 입력부; 상기 입력부를 통해 입력되는 이미지로부터 딥러닝 기반의 이미지 처리 알고리즘을 이용하여 머신비전을 수행하기 위한 관심영역(Region Of Interest ; ROI)을 설정하는 처리가 수행되도록 이루어지는 관심영역 설정부; 및 상기 입력부를 통해 입력되는 데이터와 상기 관심영역 설정부의 처리결과 및 상기 시스템의 전체적인 동작과 현재 상태를 포함하는 각종 정보를 미리 정해진 설정에 따라 출력하는 처리가 수행되도록 이루어지는 출력부를 포함하여 구성되고, 상기 관심영역 설정부는, 기존의 ResNet-50 모델에서 Res Block(stage 4, 5)을 제외하는 것에 의해 특징맵 크기(FeatureMap Size)를 조정하여 수정된 ResNet-50 모델이 특징추출기(Feature Extractor)로 적용된 Faster RCNN 모델을 이용하여, 상기 입력부를 통해 실시간으로 입력되는 제품 이미지로부터 머신비전을 수행하기 위한 관심영역(ROI)을 설정하는 처리가 자동으로 수행되도록 구성됨으로써, 기존의 룰베이스(Rule-base) 알고리즘 대신에 반도체를 포함하는 사이즈가 작은 객체의 검사에 적합하도록 수정된 딥러닝 모델을 적용하는 것에 의해 머신비전의 검사대상이나 각종 조건이 변경되더라도 ROI를 재설정하기 위한 별도의 작업이 불필요하여 전체적인 생산공정의 작업효율 및 생산성을 높일 수 있도록 구성되는 것을 특징으로 하는 머신비전을 위한 딥러닝 기반 관심영역 자동생성 시스템.

1

제 1항에 있어서, 상기 시스템은, 상기 시스템의 각각의 처리과정 및 처리결과를 포함하는 각종 정보를 미리 정해진 설정에 따라 저장하여 머신비전에 관련된 데이터베이스를 구축하는 처리가 수행되도록 이루어지는 데이터베이스부; 사용자 단말기나 서버를 포함하는 외부 기기와 무선 또는 유선통신 중 적어도 하나의 방식으로 통신을 행하여 각종 데이터를 송수신하는 처리가 수행되도록 이루어지는 통신부; 및 상기 시스템의 전체적인 동작을 제어하는 처리가 수행되도록 이루어지는 제어부를 더 포함하여 구성되는 것을 특징으로 하는 머신비전을 위한 딥러닝 기반 관심영역 자동생성 시스템.

1

제 1항에 있어서, 상기 관심영역 설정부는, 머신비전을 위한 탐지대상의 이미지를 포함하는 입력 데이터가 수신되면, 상기 수정된 ResNet-50 모델이 특징추출기로 적용된 Faster RCNN 모델을 통하여 관심영역을 설정하고, 설정된 상기 관심영역이 상기 탐지대상에 대한 목표영역(target area)의 전체를 포함하는지를 판별하며, 판별 결과 상기 목표영역의 전체가 모두 포함되어 있으면 상기 관심영역을 이용하여 머신비전을 수행하기 위한 최종 ROI를 생성하고, 판별 결과 상기 목표영역의 전체가 포함되어 있지 않은 경우는 미리 정해진 설정에 따라 군집화 처리를 수행하여 머신비전을 수행하기 위한 최종 ROI를 생성하는 처리가 수행되도록 구성되는 것을 특징으로 하는 머신비전을 위한 딥러닝 기반 관심영역 자동생성 시스템.

1

제 5항에 있어서, 상기 관심영역 설정부는, 밀도기반 군집화(Density-Based Clustering ; DBSCAN) 방법을 이용하여 상기 군집화 처리가 수행되도록 구성되는 것을 특징으로 하는 머신비전을 위한 딥러닝 기반 관심영역 자동생성 시스템.

1

제 5항에 있어서, 상기 시스템은, 상기 관심영역 설정부를 통해 상기 탐지대상의 이미지를 입력받기 전에, 미리 정해진 설정에 따라 입력데이터를 증가시키키기 위한 데이터 증강(Data Augmentation) 처리를 수행하여 증강된 데이터를 입력받는 처리가 수행되도록 구성되는 것을 특징으로 하는 머신비전을 위한 딥러닝 기반 관심영역 자동생성 시스템.

1

제 1항에 있어서, 상기 출력부는, 상기 입력부를 통해 입력되는 이미지와 상기 관심영역 설정부의 관심영역 설정결과를 포함하는 상기 시스템의 각각의 처리과정 및 처리결과를 포함하는 각종 정보를 이용하여 사용자의 요청이나 미리 정해진 설정에 따라 출력데이터를 생성하고 출력하는 처리가 수행되도록 구성되는 것을 특징으로 하는 머신비전을 위한 딥러닝 기반 관심영역 자동생성 시스템.

1

청구항 1항에 기재된 머신비전을 위한 딥러닝 기반 관심영역 자동생성 시스템을 이용한 머신비전을 위한 딥러닝 기반 관심영역 자동생성 방법에 있어서, 머신비전을 위한 제품의 영상이나 이미지를 입력받는 처리가 상기 관심영역 자동생성 시스템의 입력부를 통해 수행되는 입력단계; 상기 입력단계를 통해 입력되는 제품 이미지로부터 미리 구축된 딥러닝 모델을 이용하여 머신비전을 위한 관심영역(ROI)을 설정하는 처리가 상기 관심영역 자동생성 시스템의 관심영역 설정부를 통해 수행되는 관심영역 설정단계; 및 상기 입력단계를 통해 입력되는 데이터와 상기 관심영역 설정단계의 처리결과를 포함하는 각종 정보를 미리 정해진 설정에 따라 출력하는 처리가 상기 관심영역 자동생성 시스템의 출력부를 통해 수행되는 출력단계를 포함하여 구성되는 것을 특징으로 하는 머신비전을 위한 딥러닝 기반 관심영역 자동생성 방법.

1

머신비전 시스템에 있어서, 입력되는 제품 이미지로부터 머신비전을 위한 관심영역을 설정하는 처리가 자동으로 수행되도록 이루어지는 관심영역 자동설정 처리부; 및 상기 관심영역 자동설정 처리부를 통해 설정된 관심영역에 근거하여 머신비전을 통한 품질검사 처리가 수행되도록 이루어지는 머신비전 처리부를 포함하여 구성되고, 상기 관심영역 자동설정 처리부는, 청구항 1항 내지 청구항 3항, 청구항 5항 내지 청구항 8항 중 어느 한 항에 기재된 머신비전을 위한 딥러닝 기반 관심영역 자동생성 시스템을 이용하여 머신비전을 위한 관심영역을 생성하는 처리가 자동으로 수행되도록 구성됨으로써, 별도의 티칭 작업이 필요 없이 머신비전을 통한 품질검사가 이루어질 수 있도록 구성되는 것을 특징으로 하는 머신비전 시스템.

1

품질관리 시스템에 있어서, 제품에 대한 머신비전 검사 처리가 수행되도록 이루어지는 적어도 하나의 머신비전 시스템; 각각의 사용자가 원하는 서비스를 요청하고 제공받기 위한 사용자 단말기; 및 각각의 상기 머신비전 시스템 및 상기 사용자 단말기와 연동되어, 상기 머신비전 시스템으로부터 머신비전 검사결과를 포함하는 각종 데이터를 수신하여 각 제품별로 머신비전 검사에 관련된 데이터베이스를 구축하고, 상기 사용자 단말기를 통해 수신되는 사용자의 요청에 따라 머신비전 검사결과 및 머신비전 검사에 관련된 각종 정보를 맞춤형으로 제공해 주는 처리가 수행되도록 이루어지는 서버를 포함하여 구성되고, 상기 머신비전 시스템은, 청구항 1항 내지 청구항 3항, 청구항 5항 내지 청구항 8항 중 어느 한 항에 기재된 머신비전을 위한 딥러닝 기반 관심영역 자동생성 시스템을 이용하여, 제품 이미지로부터 머신비전을 위한 관심영역을 자동으로 설정하여 머신비전 검사가 수행되도록 구성되는 것을 특징으로 하는 품질관리 시스템.

1

제 11항에 있어서, 상기 사용자 단말기는, 스마트폰이나 태블릿 PC를 포함하는 개인 휴대용 정보통신 단말기, 또는, PC나 노트북을 포함하는 정보처리장치에 상기 머신비전 시스템 및 상기 서버와 각각 연동되는 전용의 어플리케이션을 설치하여 구성되는 것을 특징으로 하는 품질관리 시스템.

1

제 11항에 있어서, 상기 서버는, 각각의 상기 머신비전 시스템으로부터 현재 상태에 대한 정보를 수신하여 동작을 모니터링하고 이상발생시 미리 정해진 설정에 따라 사용자 단말기를 통해 해당 내용에 대한 알림을 사용자에게 전달하는 처리 및 사용자가 자신의 사용자 단말기를 통해 특정 머신비전 시스템의 동작 및 상태를 확인할 수 있도록 하기 위한 모니터링 정보를 제공하고 사용자로부터 수신되는 제어명령을 해당 머신비전 시스템으로 전송하여 원격으로 제어할 수 있도록 하는 처리가 수행되도록 구성되는 것을 특징으로 하는 품질관리 시스템.