합성곱 신경망의 계층 연관성 전파를 이용한 퇴행성 뇌질환 이미지 분류 장치 및 방법
APPARATUS AND METHOD FOR CLASSIFYING NEURODEGENERATIVE DISEASES IMAGE USING HIERARCHICAL ASSOCIATION PROPAGATION OF CNN
특허 요약
본 발명은 합성곱 신경망의 계층 연관성 전파를 이용한 퇴행성 뇌질환 이미지 분류 장치에 관한 것으로서, 아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영함에 따라 획득되는 복수 개의 단층 촬영 이미지를 입력받는 단층 촬영 이미지 입력부와, 복수 개의 상기 단층 촬영 이미지에서 아밀로이드 제재가 침착된 정도에 따라 단층 촬영 이미지를 분류하고자 하는 복수 개의 클래스들과 각 클래스에 대응되는 노드를 생성하는 클래스 생성부와, 아틀라스 기반의 뇌 영역 분할 기법에 따라 뇌 부분 영역별로 기설정된 마스크 영역에 기초하여 상기 단층 촬영 이미지에서 사용자가 선택한 관심영역을 추출하고 이에 대응하는 관심영역 이미지를 저장하는 관심영역 추출부와, 상기 관심영역 이미지에서 두개골 영역 부분을 분리 및 제거한 후 기설정된 이미지 크기로 리사이즈 및 정규화하여 전처리 이미지를 생성하는 이미지 전처리 모듈과, 상기 전처리 이미지를 입력받는 입력 계층과, 상기 입력된 이미지의 특징을 추출하여 다운샘플링하기 위한 합성곱 연산 및 풀링 연산을 수행하는 은닉 계층과, 상기 연산 결과에 따라 상기 전처리 이미지를 상기 복수 개의 클래스들 중 어느 하나로 분류하는 출력 계층을 포함하는 합성곱 신경망 구조의 이미지 분류 모듈과, 상기 분류한 결과값을 상기 출력 계층에서 상기 입력 계층 방향으로 역전파하여 상기 은닉 계층에 ...(이하생략)
청구항
번호청구항
1

아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영함에 따라 획득되는 복수 개의 단층 촬영 이미지를 입력받는 단층 촬영 이미지 입력부;복수 개의 상기 단층 촬영 이미지에서 아밀로이드 제재가 침착된 정도에 따라 단층 촬영 이미지를 분류하고자 하는 복수 개의 클래스들과 각 클래스에 대응되는 노드를 생성하는 클래스 생성부;아틀라스 기반의 뇌 영역 분할 기법에 따라 뇌 부분 영역별로 기설정된 마스크 영역에 기초하여 상기 단층 촬영 이미지에서 사용자가 선택한 관심영역을 추출하고 이에 대응하는 관심영역 이미지를 저장하는 관심영역 추출부;상기 관심영역 이미지에서 두개골 영역 부분을 분리 및 제거한 후 기설정된 이미지 크기로 리사이즈 및 정규화하여 전처리 이미지를 생성하는 이미지 전처리 모듈;상기 전처리 이미지를 입력받는 입력 계층과, 상기 입력된 이미지의 특징을 추출하여 다운샘플링하기 위한 합성곱 연산 및 풀링 연산을 수행하는 은닉 계층과, 상기 연산 결과에 따라 상기 전처리 이미지를 상기 복수 개의 클래스들 중 어느 하나로 분류하는 출력 계층을 포함하는 합성곱 신경망 구조의 이미지 분류 모듈;상기 분류한 결과값을 상기 출력 계층에서 상기 입력 계층 방향으로 역전파하여 상기 은닉 계층에 포함되는 복수의 은닉 노드 각각의 입력의 변화에 따른 출력의 변화 정도에 대응하는 기여도를 결정함에 따라 상기 분류한 결과값에 대한 상기 전처리 이미지의 픽셀별 기여도를 분석하는 기여도 분석 모듈; 및사용자가 선택한 관심영역별로 상기 기여도 분석 모듈에서 분석한 기여도를 상호 비교 가능하도록 시각화한 그래프를 생성하여 출력하는 기여도 비교부;를 포함하는 것을 특징으로 하는 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 장치.

2

제1항에 있어서,상기 은닉 계층은,상기 출력 계층과 인접한 위치에 있는 복수의 제1 은닉 뉴런들을 포함하는 상부 은닉층과, 상기 입력 계층과 인접한 위치에 있는 복수의 제2 은닉 뉴런들을 포함하는 하부 은닉층과, 상기 상부 은닉층과 상기 하부 은닉층 사이에 있는 복수의 제3 은닉 뉴런들을 포함하는 중앙 은닉층을 포함하며,상기 기여도 분석 모듈은,상기 분류한 결과값을 상기 상부 은닉층, 상기 하부 은닉층 및 상기 중앙 은닉층 각각에 대응하는 활성화 함수의 활성 여부 및 잡음 제거 여부와 상기 클래스 분류 결과에 대한 긍정 또는 부정의 영향도 중 적어도 하나의 특성에 기초하여 해당 은닉층에 대응되는 상기 기여도를 결정하는 것을 특징으로 하는 합성곱 신경망의 계층 연관성 전파를 이용한 퇴행성 뇌질환 이미지 분류 장치.

3

제2항에 있어서,상기 기여도 분석 모듈은,상기 분류한 결과값을 상기 복수의 제1 은닉 뉴런들 각각에 대응하는 활성화 함수의 활성 여부에 비례하여 분해 및 재분배함에 따라 상기 상부 은닉층에 대응되는 상기 기여도를 결정하는 것을 특징으로 하는 합성곱 신경망의 계층 연관성 전파를 이용한 퇴행성 뇌질환 이미지 분류 장치.

4

제3항에 있어서,상기 기여도 분석 모듈은,상기 제1 은닉 뉴런들에 대응하여 결정된 상기 기여도를 상기 복수의 제3 은닉 뉴런들 각각에 대응하는 활성화 함수의 활성 여부와 해당 함수에 대한 잡음 제거 여부에 따른 제1 가중치에 기초하여 분해 및 재분배함에 따라 상기 중앙 은닉층에 대응되는 상기 기여도를 결정하는 것을 특징으로 하는 합성곱 신경망의 계층 연관성 전파를 이용한 퇴행성 뇌질환 이미지 분류 장치.

5

제4항에 있어서,상기 기여도 분석 모듈은,상기 제3 은닉 뉴런들에 대응하여 결정된 상기 기여도를 상기 복수의 제2 은닉 뉴런들 각각에 대응하는 활성화 함수의 활성 여부와 상기 클래스 분류 결과에 대한 긍정 또는 부정의 영향도에 따른 제2 가중치에 기초하여 분해 및 재분배함에 따라 상기 하부 은닉층에 대응되는 상기 기여도를 결정하는 것을 특징으로 하는 합성곱 신경망의 계층 연관성 전파를 이용한 퇴행성 뇌질환 이미지 분류 장치.

6

제2항에 있어서,상기 상부 은닉층, 상기 하부 은닉층 및 상기 중앙 은닉층은 각각 소정 크기의 커널을 이용한 합성곱 연산을 수행하여 해당 은닉층에 입력된 이미지의 특징맵을 추출하는 컨볼루션 레이어와, 상기 추출된 특징맵에 대한 풀링 연산을 수행하여 다운샘플링하는 풀링 레이어로 구성되는 것이며,상기 기여도 분석 모듈은,상기 상부 은닉층, 상기 하부 은닉층 및 상기 중앙 은닉층 각각에 대응하는 상기 컨볼루션 레이어의 특성에 기초하여 해당 은닉층에 대응되는 상기 기여도를 결정하는 것을 특징으로 하는 합성곱 신경망의 계층 연관성 전파를 이용한 퇴행성 뇌질환 이미지 분류 장치.

7

제1항에 있어서,상기 전처리 이미지상의 각각의 픽셀 위치에 대하여 상기 분류한 결과값에 대한 상기 전처리 이미지의 픽셀별 기여도를 분석한 결과를 히트맵 형태로 시각화한 기여도 맵을 생성하는 기여도 맵 생성부;를 더 포함하는 것을 특징으로 하는 합성곱 신경망의 계층 연관성 전파를 이용한 퇴행성 뇌질환 이미지 분류 장치.

8

아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영함에 따라 획득되는 복수 개의 단층 촬영 이미지를 입력받는 단계;복수 개의 상기 단층 촬영 이미지에서 아밀로이드 제재가 침착된 정도에 따라 단층 촬영 이미지를 분류하고자 하는 복수 개의 클래스들과 각 클래스에 대응되는 노드를 생성하는 단계;아틀라스 기반의 뇌 영역 분할 기법에 따라 뇌 부분 영역별로 기설정된 마스크 영역에 기초하여 상기 단층 촬영 이미지에서 사용자가 선택한 관심영역을 추출하고 이에 대응하는 관심영역 이미지를 저장하는 단계;상기 관심영역 이미지에서 두개골 영역 부분을 분리 및 제거한 후 기설정된 이미지 크기로 리사이즈 및 정규화하여 전처리 이미지를 생성하는 단계;입력 계층, 은닉 계층 및 출력 계층을 포함하는 합성곱 신경망 구조로 사전 학습된 이미지 분류 모델을 이용하여 상기 전처리 이미지를 입력받아 해당 이미지의 특징을 추출하여 다운 샘플링하기 위한 합성곱 연산 및 풀링 연산을 수행함에 따라 상기 전처리 이미지를 상기 복수 개의 클래스들 중 어느 하나로 분류하는 단계;상기 분류한 결과값을 상기 출력 계층에서 상기 입력 계층 방향으로 역전파하여 상기 은닉 계층에 포함되는 복수의 은닉 노드 각각의 입력의 변화에 따른 출력의 변화 정도에 대응하는 기여도를 결정함에 따라 상기 분류한 결과값에 대한 상기 전처리 이미지의 픽셀별 기여도를 분석하는 단계; 및사용자가 선택한 관심영역별로 분석한 기여도를 상호 비교 가능하도록 시각화한 그래프를 생성하여 출력하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 방법.

9

제8항에 있어서,상기 은닉 계층은,상기 출력 계층과 인접한 위치에 있는 복수의 제1 은닉 뉴런들을 포함하는 상부 은닉층과, 상기 입력 계층과 인접한 위치에 있는 복수의 제2 은닉 뉴런들을 포함하는 하부 은닉층과, 상기 상부 은닉층과 상기 하부 은닉층 사이에 있는 복수의 제3 은닉 뉴런들을 포함하는 중앙 은닉층을 포함하는 것이며,상기 분석하는 단계는,상기 분류한 결과값을 상기 상부 은닉층, 상기 하부 은닉층 및 상기 중앙 은닉층 각각에 대응하는 활성화 함수의 활성 여부 및 잡음 제거 여부와 상기 클래스 분류 결과에 대한 긍정 또는 부정의 영향도 중 적어도 하나의 특성에 기초하여 해당 은닉층에 대응되는 상기 기여도를 결정하는 것을 특징으로 하는 합성곱 신경망의 계층 연관성 전파를 이용한 퇴행성 뇌질환 이미지 분류 방법.

10

제9항에 있어서,상기 분석하는 단계는,상기 분류한 결과값을 상기 복수의 제1 은닉 뉴런들 각각에 대응하는 활성화 함수의 활성 여부에 비례하여 분해 및 재분배함에 따라 상기 상부 은닉층에 대응되는 상기 기여도를 결정하는 것을 특징으로 하는 합성곱 신경망의 계층 연관성 전파를 이용한 퇴행성 뇌질환 이미지 분류 방법.

11

제10항에 있어서,상기 분석하는 단계는,상기 제1 은닉 뉴런들에 대응하여 결정된 상기 기여도를 상기 복수의 제3 은닉 뉴런들 각각에 대응하는 활성화 함수의 활성 여부와 해당 함수에 대한 잡음 제거 여부에 따른 제1 가중치에 기초하여 분해 및 재분배함에 따라 상기 중앙 은닉층에 대응되는 상기 기여도를 결정하는 것을 특징으로 하는 합성곱 신경망의 계층 연관성 전파를 이용한 퇴행성 뇌질환 이미지 분류 방법.

12

제11항에 있어서,상기 분석하는 단계는,상기 제3 은닉 뉴런들에 대응하여 결정된 상기 기여도를 상기 복수의 제2 은닉 뉴런들 각각에 대응하는 활성화 함수의 활성 여부와 상기 클래스 분류 결과에 대한 긍정 또는 부정의 영향도에 따른 제2 가중치에 기초하여 분해 및 재분배함에 따라 상기 하부 은닉층에 대응되는 상기 기여도를 결정하는 것을 특징으로 하는 합성곱 신경망의 계층 연관성 전파를 이용한 퇴행성 뇌질환 이미지 분류 방법.

13

제9항에 있어서,상기 상부 은닉층, 상기 하부 은닉층 및 상기 중앙 은닉층은 각각 소정 크기의 커널을 이용한 합성곱 연산을 수행하여 해당 은닉층에 입력된 이미지의 특징맵을 추출하는 컨볼루션 레이어와, 상기 추출된 특징맵에 대한 풀링 연산을 수행하여 다운샘플링하는 풀링 레이어로 구성되는 것이며,상기 분석하는 단계는,상기 상부 은닉층, 상기 하부 은닉층 및 상기 중앙 은닉층 각각에 대응하는 상기 컨볼루션 레이어의 특성에 기초하여 해당 은닉층에 대응되는 상기 기여도를 결정하는 것을 특징으로 하는 합성곱 신경망의 계층 연관성 전파를 이용한 퇴행성 뇌질환 이미지 분류 방법.

14

제8항에 있어서,상기 분석하는 단계 이후에,상기 전처리 이미지상의 각각의 픽셀 위치에 대하여 상기 분류한 결과값에 대한 상기 전처리 이미지의 픽셀별 기여도를 분석한 결과를 히트맵 형태로 시각화한 기여도 맵을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 합성곱 신경망의 계층 연관성 전파를 이용한 퇴행성 뇌질환 이미지 분류 방법.