비강종물 감별을 위한 모델의 학습 방법 및 학습 장치, 비강종물 감별 방법 및 장치
METHOD AND APPARATUS FOR LEARNING MODEL FOR DIFFERENTIATING NASAL CAVITY MASSES, METHOD AND APPARATUS FOR DIFFERENTIATING NASAL CAVITY MASSES
특허 요약
비강종물 감별을 위한 모델의 학습 방법 및 학습 장치가 개시된다. 비강종물 감별을 위한 모델의 학습 방법은 비강 영역이 포함된 코 내시경 이미지로부터 복수의 패치 이미지들을 추출하는 단계, 코 내시경 이미지 및 추출된 복수의 패치 이미지들을 이용하여 뉴럴 네트워크 기반의 병변 검출 모델을 학습시키는 단계, 학습된 병변 검출 모델을 이용하여 코 내시경 이미지로부터 병변의 존재 여부를 검출하는 단계, 코 내시경 이미지에 병변이 존재하는 것으로 검출된 경우, 코 내시경 이미지 및 비강 영역에 대한 CT 이미지를 결합하는 것에 의해 결합 영상을 생성하는 단계, 및 생성된 결합 영상에 기초하여, 병변에 대한 비강종물 감별을 위한 뉴럴 네트워크 기반의 감별 모델을 학습시키는 단계를 포함할 수 있다.
청구항
번호청구항
3

제1항에 있어서,상기 추출하는 단계는,상기 코 내시경 이미지의 전체 영역에서 랜덤하게 부분 영역들을 크롭하는 것에 의해 상기 코 내시경 이미지로부터 상기 부분 영역들에 대응하는 상기 복수의 패치 이미지들을 추출하는 단계를 포함하는 학습 방법.

1

비강종물 감별을 위한 모델의 학습 방법에 있어서,비강 영역이 포함된 코 내시경 이미지로부터 복수의 패치 이미지들을 추출하는 단계;상기 코 내시경 이미지 및 상기 추출된 복수의 패치 이미지들을 이용하여 뉴럴 네트워크 기반의 병변 검출 모델을 학습시키는 단계;상기 학습된 병변 검출 모델을 이용하여 상기 코 내시경 이미지로부터 병변의 존재 여부를 검출하는 단계;상기 코 내시경 이미지에 상기 병변이 존재하는 것으로 검출된 경우, 상기 코 내시경 이미지 및 상기 비강 영역에 대한 CT(computerized tomography) 이미지를 결합하는 것에 의해 결합 영상을 생성하는 단계; 및상기 생성된 결합 영상에 기초하여, 상기 병변에 대한 비강종물(nasal cavity masses) 감별을 위한 뉴럴 네트워크 기반의 감별 모델을 학습시키는 단계를 포함하고,상기 병변 검출 모델을 학습시키는 단계는,상기 코 내시경 이미지 및 상기 추출된 복수의 패치 이미지들 중 적어도 하나에 포함된 비강 영역의 텍스처(texture) 및 형태(shape)에 대하여 가중치를 할당하는 단계; 및상기 가중치가 할당된 비강 영역의 텍스처 및 형태에 기초하여 상기 병변 검출 모델을 순환 학습(curriculum learning)시키는 단계를 포함하는 학습 방법.

2

제1항에 있어서,상기 코 내시경 이미지는, 상기 비강 영역을 포함하는 전체 이미지에 대응하고,상기 패치 이미지들은 상기 전체 이미지의 부분 이미지들에 대응하는,학습 방법.

4

제1항에 있어서,상기 코 내시경 이미지에 병변 영역의 중심이 설정된 경우, 상기 병변 영역의 중심을 기준으로 부분 영역들을 크롭하는 것에 의해 상기 코 내시경 이미지로부터 상기 부분 영역들에 대응하는 상기 복수의 패치 이미지들을 추출하는 단계를 더 포함하는 학습 방법.

5

제1항에 있어서,상기 추출된 패치 이미지들 및 상기 코 내시경 이미지 중 적어도 하나에 대해 크기 확대, 크기 축소, 회전 및 이동(shifting) 중 적어도 하나를 포함하는 이미지 처리를 수행하는 단계를 더 포함하고,상기 병변 검출 모델을 학습시키는 단계는,상기 이미지 처리가 수행된 적어도 하나의 상기 추출된 패치 이미지들 및 상기 코 내시경 이미지에 기초하여 상기 병변 검출 모델을 학습시키는 단계를 포함하는 학습 방법.

6

제1항에 있어서,상기 병변 검출 모델은,상기 코 내시경 이미지가 병변 영역을 포함하는 병변 이미지인지 또는 병변 영역을 포함하지 않는 일반 이미지인지 여부를 분류하는,학습 방법.

7

삭제

8

제1항에 있어서,상기 감별 모델은,상기 병변을 비용종(nasal polyps), 내장성 유두종(inverted papilloma), 및 정상 조직(normal tissue) 중 어느 하나로 구별하는 것인,학습 방법.

9

비강종물 감별 방법에 있어서,비강 영역이 포함된 코 내시경 이미지로부터 복수의 패치 이미지들을 추출하는 단계;병변 검출 모델을 이용하여 상기 코 내시경 이미지 및 상기 복수의 패치 이미지들 중 적어도 하나를 기반으로 병변의 존재 여부를 검출하는 단계;상기 코 내시경 이미지에 상기 병변이 존재하는 것으로 검출된 경우, 상기 코 내시경 이미지 및 상기 비강 영역에 대한 CT 이미지를 결합하는 것에 의해 결합 영상을 생성하는 단계; 및뉴럴 네트워크 기반의 감별 모델을 이용하여 상기 생성된 결합 영상을 기반으로 상기 병변에 대한 비강종물 감별을 수행하는 단계를 포함하고,상기 병변 검출 모델은,코 내시경 이미지 및 복수의 패치 이미지들 중 적어도 하나에 포함된 비강 영역의 텍스처 및 형태에 대하여 가중치를 할당하고, 상기 가중치가 할당된 비강 영역의 텍스처 및 형태에 기초하여 순환 학습되는,비강종물 감별 방법.

10

제9항에 있어서,상기 코 내시경 이미지는, 상기 비강 영역을 포함하는 전체 이미지에 대응하고,상기 패치 이미지들은 상기 전체 이미지의 부분 이미지들에 대응하는,비강종물 감별 방법.

11

제9항에 있어서,상기 추출하는 단계는,상기 코 내시경 이미지의 전체 영역에서 랜덤하게 부분 영역들을 크롭하는 것에 의해 상기 코 내시경 이미지로부터 상기 부분 영역들에 대응하는 상기 복수의 패치 이미지들을 추출하는 단계를 포함하는,비강종물 감별 방법.

12

제9항에 있어서,상기 병변 검출 모델은,코 내시경 이미지 및 복수의 패치 이미지들을 이용하여 학습되고,학습된 후에 코 내시경 이미지가 병변 영역을 포함하는 병변 이미지인지 또는 병변 영역을 포함하지 않는 일반 이미지인지 여부를 분류하는,비강종물 감별 방법.

13

삭제

14

제9항에 있어서,상기 감별 모델은,코 내시경 이미지 및 비강 영역에 대한 CT 이미지를 결합하는 것에 의해 생성된 결합 영상에 기초하여 학습되고,학습된 후에 상기 병변을 비용종(nasal polyps), 내장성 유두종(inverted papilloma), 및 정상 조직(normal tissue) 중 어느 하나로 구별하는 것인,비강종물 감별 방법.

15

비강종물 감별을 위한 모델의 학습 장치에 있어서,비강 영역이 포함된 코 내시경 이미지로부터 복수의 패치 이미지들을 추출하는 이미지 전처리부;상기 코 내시경 이미지 및 상기 추출된 복수의 패치 이미지들을 이용하여 뉴럴 네트워크 기반의 병변 검출 모델을 학습시키는 병변 검출 모델 학습부;상기 학습된 병변 검출 모델을 이용하여 상기 코 내시경 이미지로부터 병변의 존재 여부를 검출하는 검출부;상기 코 내시경 이미지에 상기 병변이 존재하는 것으로 검출된 경우, 상기 코 내시경 이미지 및 상기 비강 영역에 대한 CT(computerized tomography) 이미지를 결합하는 것에 의해 결합 영상을 생성하는 결합 영상 생성부; 및상기 생성된 결합 영상에 기초하여, 상기 병변에 대한 비강종물(nasal cavity masses) 감별을 위한 뉴럴 네트워크 기반의 감별 모델을 학습시키는 감별 모델 학습부를 포함하고,상기 병변 검출 모델 학습부는,상기 코 내시경 이미지 및 상기 추출된 복수의 패치 이미지들 중 적어도 하나에 포함된 비강 영역의 텍스처(texture) 및 형태(shape)에 대하여 가중치를 할당하고,상기 가중치가 할당된 비강 영역의 텍스처 및 형태에 기초하여 상기 병변 검출 모델을 순환 학습(curriculum learning)시키는,학습 장치.

16

제15항에 있어서,상기 이미지 전처리부는,상기 코 내시경 이미지의 전체 영역에서 랜덤하게 부분 영역들을 크롭하는 것에 의해 상기 코 내시경 이미지로부터 상기 부분 영역들에 대응하는 상기 복수의 패치 이미지들을 추출하는,학습 장치.

17

제15항에 있어서,상기 이미지 전처리부는,상기 코 내시경 이미지에 병변 영역의 중심이 설정된 경우, 상기 병변 영역의 중심을 기준으로 부분 영역들을 크롭하는 것에 의해 상기 코 내시경 이미지로부터 상기 부분 영역들에 대응하는 상기 복수의 패치 이미지들을 추출하는,학습 장치.

18

삭제

19

비강종물 감별 장치에 있어서,비강 영역이 포함된 코 내시경 이미지로부터 복수의 패치 이미지들을 추출하는 이미지 전처리부;병변 검출 모델을 이용하여 상기 코 내시경 이미지 및 상기 복수의 패치 이미지들 중 적어도 하나를 기반으로 병변의 존재 여부를 검출하는 검출부;상기 코 내시경 이미지에 상기 병변이 존재하는 것으로 검출된 경우, 상기 코 내시경 이미지 및 상기 비강 영역에 대한 CT 이미지를 결합하는 것에 의해 결합 영상을 생성하는 결합 영상 생성부; 및뉴럴 네트워크 기반의 감별 모델을 이용하여 상기 생성된 결합 영상을 기반으로 상기 병변에 대한 비강종물 감별을 수행하는 비강종물 감별부를 포함하고,상기 병변 검출 모델은,코 내시경 이미지 및 복수의 패치 이미지들 중 적어도 하나에 포함된 비강 영역의 텍스처 및 형태에 대하여 가중치를 할당하고, 상기 가중치가 할당된 비강 영역의 텍스처 및 형태에 기초하여 순환 학습되는,비강종물 감별 장치.

20

삭제