고막 내시경 이미지를 이용한 중이 질환 분석 방법 및 그 장치
METHOD AND APPARATUS FOR ANALYZING MIDDLE EAR DISEASES USING TYMPANIC ENDOSCOPY IMAGE
특허 요약
본 출원의 실시예에 따라, 고막 내시경 이미지를 이용한 중이 질환 분석 방법 및 장치가 제공된다. 상기 방법은, 대상자의 고막 내시경 이미지를 획득하는 단계; 상기 고막 내시경 이미지를 약한 지도 학습 기반의 합성곱 신경망(Convolutional Neural Network) 모델에 입력하여 상기 고막 내시경 이미지의 이상 특징과 관련된 히트맵을 포함하는 Grad-CAM(Gradient Class Activation Map) 이미지를 획득하는 단계; 상기 Grad-CAM 이미지를 기초로 비지도 학습 기반의 이상 탐지 모델을 통해, 상기 이상 특징과 관련된 이상 스코어(anomaly score)를 산출하는 단계; 및 상기 이상 스코어에 기초하여, 상기 대상자의 중이 질환 여부를 판별하는 단계;를 포함할 수 있다.
청구항
번호청구항
1

고막 내시경 이미지를 이용한 중이 질환 분석 방법에 있어서,대상자의 고막 내시경 이미지를 획득하는 단계;상기 고막 내시경 이미지를 약한 지도 학습 기반의 합성곱 신경망(Convolutional Neural Network) 모델에 입력하여 상기 고막 내시경 이미지의 이상 특징과 관련된 히트맵을 포함하는 Grad-CAM(Gradient Class Activation Map) 이미지를 획득하는 단계;상기 Grad-CAM 이미지를 기초로 비지도 학습 기반의 이상 탐지 모델을 통해, 상기 이상 특징과 관련된 이상 스코어(anomaly score)를 산출하는 단계; 및상기 이상 스코어에 기초하여, 상기 대상자의 중이 질환 여부를 판별하는 단계;를 포함하는, 방법.

2

제 1 항에 있어서,상기 합성곱 신경망은, 정상 케이스의 상기 고막 내시경 이미지에 대하여 고막이 아닌 영역에 대해 히트맵을 출력하고, 이상 케이스의 상기 고막 내시경 이미지에 대해서는 고막 및 환부 위치에 히트맵을 출력하는, 방법.

3

제 1 항에 있어서,상기 Grad-CAM 이미지를 히트맵을 중심으로 단순 처리하여 상기 고막 내시경 이미지에 대응하는 단순 패턴 이미지를 생성하는 단계를 더 포함하고,상기 이상 스코어를 산출하는 단계는,상기 단순 패턴 이미지를 상기 이상 탐지 모델에 입력함으로써 수행되는, 방법.

4

제 1 항에 있어서,상기 이상 탐지 모델은, 변분 오토인코더(Variational Auto-Encoder, VAE)를 포함하는, 방법.

5

제 2 항에 있어서,상기 이상 스코어(anomaly score)를 산출하는 단계는, 상기 이상 탐지 모델로부터 추출된 재구성 손실(reconstruction loss) 및 쿨백-라이블러 발산(Kullback-Leibler divergence)에 기초하여 상기 이상 스코어를 산출함으로써 수행되는, 방법.

6

제 1 항에 있어서,상기 대상자의 중이 질환 여부를 판별하는 단계는,상기 이상 스코어를 K-NN(K-Nearest Neighbors) 모델에 입력하여 정상 또는 이상으로 분류함으로써 수행되는, 방법.

7

고막 내시경 이미지를 이용한 중이 질환 분석 장치에 있어서,적어도 하나의 프로세서; 및상기 프로세서에 의해 실행 가능한 프로그램을 저장하는 메모리를 포함하고,상기 프로세서는, 상기 프로그램을 실행함으로써, 대상자의 고막 내시경 이미지를 획득하고, 상기 고막 내시경 이미지를 약한 지도 학습 기반의 합성곱 신경망(Convolutional Neural Network) 모델에 입력하여 상기 고막 내시경 이미지의 이상 특징과 관련된 히트맵을 포함하는 Grad-CAM(Gradient Class Activation Map) 이미지를 획득하며, 상기 Grad-CAM 이미지를 기초로 비지도 학습 기반의 이상 탐지 모델을 통해, 상기 이상 특징과 관련된 이상 스코어(anomaly score)를 산출하고, 상기 이상 스코어에 기초하여, 상기 대상자의 중이 질환 여부를 판별하는, 장치.

8

제 1 항 내지 제 6 항 중 어느 한 항의 방법을 실행하기 위하여 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.