이상 온도를 나타내는 객체를 식별하는 방법 및 장치
METHOD AND APPARATUS FOR IDENTIFYING OBJECT REPRESENTING ABNORMAL TEMPERATURES
특허 요약
본 개시는 이상 온도를 나타내는 객체를 식별하는 방법 및 상기 방법을 수행하는 전자 장치에 관한 것이다. 일 실시 예에 의하면, 전자 장치가 이상 온도를 나타내는 객체를 식별하는 방법은 서로 다른 파장 대역의 광들로부터, 상기 전자 장치가 촬영하는 공간 내 객체에 관한 제1 이미지 및 제2 이미지를 획득하는 단계; 상기 제1 이미지 내 객체를 식별하는 단계; 상기 제1 이미지에서 식별된 객체의 위치 정보에 기초하여, 상기 제2 이미지에서 상기 제1 이미지 내 객체에 대응되는 객체를 식별하는 단계; 및 상기 제2 이미지에서 식별된 객체가 나타내는 온도에 기초하여, 상기 전자 장치가 촬영한 객체의 이상 여부를 식별하는 단계; 를 포함할 수 있다.
청구항
번호청구항
1

전자 장치가 이상 온도를 나타내는 객체를 식별하는 방법에 있어서,서로 다른 파장 대역의 광들로부터, 상기 전자 장치가 촬영하는 공간 내 객체에 관한 제1 이미지 및 제2 이미지를 획득하는 단계;상기 제1 이미지 내 객체를 식별하는 단계;상기 제1 이미지에 포함된 픽셀 및 상기 제1 이미지에 포함된 픽셀 각각에 대응되는 제2 이미지에 포함된 픽셀들의 픽셀 값 차이를 비교하고, 상기 픽셀 값의 차이가 기 설정된 임계치 이상인 경우, 상기 기 설정된 임계치 이상의 픽셀 값의 차이를 나타내는 제2 이미지 상 픽셀 주변의 적어도 일 지점에 적어도 하나의 픽셀들을 추가로 생성하는 단계;상기 제2 이미지 상 생성된 적어도 하나의 픽셀들 주변의 픽셀들의 픽셀 값 평균을, 상기 생성된 적어도 하나의 픽셀들의 픽셀 값들로 할당하는 단계; 상기 제1 이미지 내 픽셀들의 픽셀 정보에 기초하여, 상기 제2 이미지 내 기 존재하는 픽셀들의 픽셀 값들을 변환하는 단계; 상기 픽셀 값들이 할당된 상기 생성된 적어도 하나의 픽셀들 및 상기 픽셀 값들이 변환된 상기 기 존재하는 픽셀들을 포함하는 제2 이미지로부터, 상기 제1 이미지 내 객체에 대응되는 객체를 식별하는 단계; 및상기 제2 이미지에서 식별된 객체가 나타내는 온도에 기초하여, 상기 전자 장치가 촬영한 객체의 이상 여부를 식별하는 단계; 를 포함하는, 방법.

2

제1항에 있어서, 상기 방법은상기 전자 장치가 촬영한 객체의 이상 여부를 식별한 결과, 상기 객체가 비정상 객체로 식별되는 경우, 상기 객체가 비정상 객체임을 알리기 위한 알림 정보를 출력하는 단계; 를 더 포함하는, 방법.

3

제2항에 있어서, 상기 제1 이미지 내 객체를 식별하는 단계는상기 획득된 제1 이미지 내 픽셀 값에 기초하여 특징 벡터를 추출하는 단계; 및상기 특징 벡터가 입력되면, 상기 제1 이미지에서 식별된 객체의 위치 정보 및 상기 객체의 종류에 관한 정보를 출력하는 신경망 모델을 이용하여, 상기 제1 이미지 내 상기 객체의 위치 정보를 식별하는 단계; 를 포함하는, 방법.

4

제1항에 있어서, 상기 제1 이미지 내 객체에 대응되는 객체를 식별하는 단계는상기 제1 이미지에서 식별된 객체의 위치 정보에 기초하여, 상기 변환된 픽셀 정보를 포함하는 제2 이미지에서, 후보 객체 영역을 결정하는 단계; 및상기 결정된 후보 객체 영역 내에서 상기 제1 이미지 내 객체에 대응되는 객체를 식별하는 단계; 를 포함하는, 방법.

5

제4항에 있어서, 상기 객체의 이상 여부를 식별하는 단계는상기 후보 객체 영역 내 픽셀들의 픽셀 값에 기초하여, 상기 객체가 나타내는 온도를 식별하는 단계; 및상기 식별된 객체의 온도가 미리 설정된 임계치 이상인 경우, 상기 객체를 비정상 객체로 식별하는 단계; 를 포함하는, 방법.

6

제1항에 있어서, 상기 제1 이미지는, 가시광선 영역의 광들로부터 생성되는 이미지이고, 상기 제2 이미지는 열적외선 영역의 광들로부터 생성되는 이미지인 것을 특징으로 하는, 방법.

7

제3항에 있어서, 상기 신경망 모델은심층 신경망 모델로써, 레이어들 및 상기 레이어들 간의 연결 강도에 관한 가중치(weight)를 포함하고, 상기 가중치를 수정 및 갱신함으로써 미리 학습되는 것을 특징으로 하는, 방법.

8

제2항에 있어서, 상기 방법은,상기 제1 이미지, 상기 제2 이미지 또는 상기 변환된 픽셀 값들을 포함하는 제2 이미지 중 적어도 하나를 출력하는 단계; 및상기 식별된 객체의 종류 및 상기 식별된 객체가 나타내는 온도 정보를 출력하는 단계; 를 포함하고,상기 알림 정보를 출력하는 단계는,상기 알림 정보를 상기 전자 장치와 연결된 외부 디바이스로 전송하는 단계; 를 더 포함하는 것을 특징으로 하는, 방법.

9

이상 온도를 나타내는 객체를 식별하는 전자 장치에 있어서,적어도 하나의 이미지를 디스플레이 하는 디스플레이;하나 이상의 인스트럭션을 저장하는 저장부; 및상기 하나 이상의 인스트럭션을 실행하는 프로세서; 를 포함하고,상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,서로 다른 파장 대역의 광들로부터, 상기 전자 장치가 촬영하는 공간 내 객체에 관한 제1 이미지 및 제2 이미지를 획득하고,상기 제1 이미지 내 객체를 식별하고,상기 제1 이미지에 포함된 픽셀 및 상기 제1 이미지에 포함된 픽셀 각각에 대응되는 제2 이미지에 포함된 픽셀들의 픽셀 값 차이를 비교하고, 상기 픽셀 값의 차이가 기 설정된 임계치 이상인 경우, 상기 기 설정된 임계치 이상의 픽셀 값의 차이를 나타내는 제2 이미지 상 픽셀 주변의 적어도 일 지점에 적어도 하나의 픽셀들을 추가로 생성하고,상기 제2 이미지 상 생성된 적어도 하나의 픽셀들 주변의 픽셀들의 픽셀 값 평균을, 상기 생성된 적어도 하나의 픽셀들의 픽셀 값들로 할당하고,상기 제1 이미지 내 픽셀들의 픽셀 정보에 기초하여, 상기 제2 이미지 내 기 존재하는 픽셀들의 픽셀 값들을 변환하고,상기 픽셀 값들이 할당된 상기 생성된 적어도 하나의 픽셀들 및 상기 픽셀 값들이 변환된 상기 기 존재하는 픽셀들을포함하는 제2 이미지로부터, 상기 제1 이미지 내 객체에 대응되는 객체를 식별하고,상기 제2 이미지에서 식별된 객체가 나타내는 온도에 기초하여, 상기 전자 장치가 촬영한 객체의 이상 여부를 식별하는, 전자 장치.

10

제9항에 있어서, 상기 프로세서는전자 장치가 촬영한 객체의 이상 여부를 식별한 결과, 상기 객체가 비정상 객체로 식별되는 경우, 상기 객체가 비정상 객체임을 알리기 위한 알림 정보를 출력하는, 전자 장치.

11

제10항에 있어서, 상기 프로세서는상기 획득된 제1 이미지 내 픽셀 값에 기초하여 특징 벡터를 추출하고,상기 특징 벡터가 입력되면, 상기 제1 이미지에서 식별된 객체의 위치 정보 및 상기 객체의 종류에 관한 정보를 출력하는 신경망 모델을 이용하여, 상기 제1 이미지 내 상기 객체의 위치 정보를 식별하는, 전자 장치.

12

제9항에 있어서, 상기 프로세서는상기 제1 이미지에서 식별된 객체의 위치 정보에 기초하여, 상기 변환된 픽셀 정보를 포함하는 제2 이미지에서, 후보 객체 영역을 결정하고,상기 결정된 후보 객체 영역 내에서 상기 제1 이미지 내 객체에 대응되는 객체를 식별하는, 전자 장치.

13

제12항에 있어서, 상기 프로세서는상기 후보 객체 영역 내 픽셀들의 픽셀 값에 기초하여, 상기 객체가 나타내는 온도를 식별하고,상기 식별된 객체의 온도가 미리 설정된 임계치 이상인 경우, 상기 객체를 비정상 객체로 식별하는, 전자 장치.

14

제11항에 있어서, 상기 제1 이미지는, 가시광선 영역의 광들로부터 생성되는 이미지이고, 상기 제2 이미지는 열적외선 영역의 광들로부터 생성되는 이미지이며, 상기 신경망 모델은 심층 신경망 모델로써, 레이어들 및 상기 레이어들 간의 연결 강도에 관한 가중치(weight)를 포함하고, 상기 가중치를 수정 및 갱신함으로써 미리 학습되는 것을 특징으로 하는, 전자 장치.

15

제10항에 있어서, 상기 프로세서는상기 제1 이미지, 상기 제2 이미지 또는 상기 변환된 픽셀 값들을 포함하는 제2 이미지 중 적어도 하나를 출력하고,상기 식별된 객체의 종류 및 상기 식별된 객체가 나타내는 온도 정보를 출력하며,상기 알림 정보를 상기 전자 장치와 연결된 외부 디바이스로 전송하는 것을 특징으로 하는, 전자 장치.

16

서로 다른 파장 대역의 광들로부터, 전자 장치가 촬영하는 공간 내 객체에 관한 제1 이미지 및 제2 이미지를 획득하는 단계;상기 제1 이미지 내 객체를 식별하는 단계;상기 제1 이미지에 포함된 픽셀 및 상기 제1 이미지에 포함된 픽셀 각각에 대응되는 제2 이미지에 포함된 픽셀들의 픽셀 값 차이를 비교하고, 상기 픽셀 값의 차이가 기 설정된 임계치 이상인 경우, 상기 기 설정된 임계치 이상의 픽셀 값의 차이를 나타내는 제2 이미지 상 픽셀 주변의 적어도 일 지점에 적어도 하나의 픽셀들을 추가로 생성하는 단계;상기 제2 이미지 상 생성된 적어도 하나의 픽셀들 주변의 픽셀들의 픽셀 값 평균을, 상기 생성된 적어도 하나의 픽셀들의 픽셀 값들로 할당하는 단계; 상기 제1 이미지 내 픽셀들의 픽셀 정보에 기초하여, 상기 제2 이미지 내 기 존재하는 픽셀들의 픽셀 값들을 변환하는 단계; 상기 픽셀 값들이 할당된 상기 생성된 적어도 하나의 픽셀들 및 상기 픽셀 값들이 변환된 상기 기 존재하는 픽셀들을포함하는 제2 이미지로부터, 상기 제1 이미지 내 객체에 대응되는 객체를 식별하는 단계; 및상기 제2 이미지에서 식별된 객체가 나타내는 온도에 기초하여, 상기 전자 장치가 촬영한 객체의 이상 여부를 식별하는 단계; 를 포함하는, 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.