영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법
Fully Automatic 3D Cephalometry System and Method using Image Processing and Convolutional Neural Network
특허 요약
본 발명은 3차원에서 자동으로 정확하게 3차원 두부계측을 할 수 있도록 한 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치 및 방법에 관한 것으로, 3D 해부학 구조별 분할(segmentation) 및 경추골(cervical vertebra) 삭제를 수행하는 3D 해부학 구조별 영상 처리부;영상 처리를 위하여 교합평면 회전(rotation)으로 치열이 바닥에 평행하도록 하는 교합평면 회전처리부;상하악의 기준 평면을 나누어 이를 기준으로 교정점들을 새롭게 정의하고, 기준점을 이용해 악골의 기준 plane(Midsaggital plane-MSP)을 설정하고, MSP가 정위치에 놓이도록 상악을 회전하는 상악 처리부;변형 컴퓨터 절대 하악 평면(cmAMP)을 이용해 기준 평면을 설정하고, 변형 컴퓨터 절대 하악 평면(cmAMP)이 정위치에 놓이도록 하악을 회전하는 하악 처리부;윤곽선을 재조정하여 정확한 점의 좌표를 계산해 주는 방식으로 수정을 하는 보정 처리부; 및 수정된 3D 좌표들을 기준으로 CNN 네트워크 학습을 하여 좌표 업데이트를 하는 좌표 업데이트부;를 포함하는 것이다.
청구항
번호청구항
1

3D 해부학 구조별 분할(segmentation) 및 경추골(cervical vertebra) 삭제를 수행하는 3D 해부학 구조별 영상 처리부;영상 처리를 위하여 교합평면 회전(rotation)으로 치열이 바닥에 평행하도록 하는 교합평면 회전처리부;상하악의 기준 평면을 나누어 이를 기준으로 교정점들을 새롭게 정의하고, 기준점을 이용해 악골의 기준 plane(Midsaggital plane-MSP)을 설정하고, MSP가 정위치에 놓이도록 상악을 회전하는 상악 처리부;변형 컴퓨터 절대 하악 평면(cmAMP)을 이용해 기준 평면을 설정하고, 변형 컴퓨터 절대 하악 평면(cmAMP)이 정위치에 놓이도록 하악을 회전하는 하악 처리부;윤곽선을 재조정하여 정확한 점의 좌표를 계산해 주는 방식으로 수정을 하는 보정 처리부; 및 수정된 3D 좌표들을 기준으로 CNN 네트워크 학습을 하여 좌표 업데이트를 하는 좌표 업데이트부;를 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치.

2

제 1 항에 있어서, 상악 처리부는,관상(coronal)에서 안구, 비강(nasal fossa)이 나타난 이미지를 만드는 상악 처리 이미지 결정부와,정중시상면(midsagittal plane)이 바닥과 수직이 되게 회전(Coronal 방향 reorientation)하는 회전 처리부와,관상(Coronal) MIP(최대강도투사)에서 안구의 최저점으로 x, z좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 안와점 산출부와,관상(Coronal) MIP(최대강도투사)에서 비강(Nasal fossa)의 중심점이 비강(Nasal fossa)의 최하점과 평행한 선분과 만나는 점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 ANS(전비극) 산출부와,관상(Coronal) MIP(최대강도투사)에서 비강(Nasal fossa)의 맨 윗점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 코뿌리점 산출부와,sagittal 방향으로 과두(Condyle) 외측에서 과두(Condyle) 중심까지 sagittal MIP(최대강도투사)를 산출하는 포리온 산출부와,관상(Coronal) MIP(최대강도투사)에서 안구 내측 중앙부, 안구 상부와 코뿌리점 사이로 영역을 한정하여 딥러닝을 이용하여 x 및 z 좌표 구한 후, x좌표에 해당하는 sagittal image에서 z와 만나는 y좌표 산출하는 코뿌리점(Nasion) 산출부와,두 안구의 평균 상부와 하부 사이의 상악의 중점을 기준으로 특정 너비 만큼 MIP(최대강도투사)한 sagittal image에서 안장점(sella) 영역을 분할(segmentation)해서 딥러닝 후 그 중심좌표를 산출하는 안장점(sella) 산출부를 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치.

3

제 1 항에 있어서, 하악 처리부는,하악 정준선 구하기 및 바닥에 수직으로 회전하는 회전 처리부와,관상(Coronal) MIP(최대강도투사)에서 교정점 좌표 산출을 하는 관상(Coronal) MIP(최대강도투사) 교정점 좌표 산출부와,Sagittal MIP(최대강도투사)에서 교정점 좌표 산출을 하는 Sagittal MIP(최대강도투사) 교정점 좌표 산출부를 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치.

4

제 1 항에 있어서, 좌표 업데이트부는,수정된 3D 좌표들을 기준으로, 2차원 MIP(최대강도투사)에서 2차원 regression CNN 네트워크로 구할 수 있는 점들을 바탕으로 영역을 한정한 후, 3차원 regression CNN 네트워크로 학습하여 좌표들을 정밀화하여 업데이트 하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 장치.

5

3D 해부학 구조별 영상 처리부에서 3D 해부학 구조별 분할(segmentation) 및 경추골(cervical vertebra) 삭제를 하는 3D 해부학 구조별 영상 처리를 하는 단계;교합평면 회전처리부에서 영상 처리를 위하여 교합평면 회전(rotation)으로 치열이 바닥에 평행하도록 하는 교합평면 회전처리를 하는 단계;상악 처리부에서 상하악의 기준 평면을 나누어 이를 기준으로 교정점들을 새롭게 정의하고, 기준점을 이용해 악골의 기준 plane(Midsaggital plane-MSP)을 설정하고, MSP가 정위치에 놓이도록 상악을 회전하는 상악 처리를 하는 단계;하악 처리부에서 변형 컴퓨터 절대 하악 평면(cmAMP)을 이용해 기준 평면을 설정하고, 변형 컴퓨터 절대 하악 평면(cmAMP)이 정위치에 놓이도록 하악을 회전하는 하악 처리를 하는 단계;보정 처리부에서 윤곽선을 재조정하여 정확한 점의 좌표를 계산해 주는 방식으로 수정을 하는 보정 처리를 하는 단계; 및 좌표 업데이트부에서 수정된 3D 좌표들을 기준으로 CNN 네트워크 학습을 하여 좌표 업데이트를 하는 좌표 업데이트를 하는 단계;를 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.

6

제 5 항에 있어서, 3D 해부학 구조별 영상 처리부에서 수행되는 3D 해부학 구조별 영상 처리 단계에서,상악, 하악, 치아, 경추골(cervical vertebra)을 3D cnn으로 분할(segmentation)하고, 전체 3D 이미지에서 연조직과 경추골(cervical vertebra)을 삭제하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.

7

제 5 항에 있어서, 교합평면 회전처리부에서 수행되는 교합평면 회전처리 단계에서,Sagittal MIP(최대강도투사)에서 교합평면 중심의 높이 구하고, Sagittal MIP(최대강도투사)에서 치아로 이루어진 교합평면이 바닥에 평행하게 sagittal 방향 rotation(교합평면의 중심을 기준)하여 치열이 바닥에 평행하도록 하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.

8

제 5 항에 있어서, 교합평면 회전처리부에서 수행되는 교합평면 회전처리 단계에서,기준평면을 잡기 위하여 정면과 위에서 사람을 내려다보았을 때, 두 안와의 중점이 평행하게 있도록 재조정(reorientation)되어야 하고, 옆에서 사람을 보았을 때, 포리온(Porion)과 안와점(Orbitale)이 바닥과 수평이 되도록 하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.

9

제 5 항에 있어서, 상악 처리부에서 수행되는 상악 처리 단계는,상악 처리 이미지 결정부에서 관상(coronal)에서 안구, 비강(nasal fossa)이 나타난 이미지를 만드는 상악 처리 이미지 결정 단계와,회전 처리부에서 정중시상면(midsagittal plane)이 바닥과 수직이 되게 회전(Coronal 방향 reorientation)하는 회전 처리 단계와,안와점 산출부에서 관상(Coronal) MIP(최대강도투사)에서 안구의 최저점으로 x, z좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 안와점 산출 단계와,ANS(전비극) 산출부에서 관상(Coronal) MIP(최대강도투사)에서 비강(Nasal fossa)의 중심점이 비강(Nasal fossa)의 최하점과 평행한 선분과 만나는 점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 ANS(전비극) 산출 단계와,코뿌리점 산출부에서 관상(Coronal) MIP(최대강도투사)에서 비강(Nasal fossa)의 맨 윗점으로 x,z 좌표를 구하고, x좌표의 sagittal 단면에서 z좌표와 만나는 y좌표를 산출하는 코뿌리점 산출 단계와,포리온 산출부에서 sagittal 방향으로 과두(Condyle) 외측에서 과두(Condyle) 중심까지 sagittal MIP(최대강도투사)를 산출하는 포리온 산출 단계와,코뿌리점(Nasion) 산출부에서 관상(Coronal) MIP(최대강도투사)에서 안구 내측 중앙부, 안구 상부와 코뿌리점 사이로 영역을 한정하여 딥러닝을 이용하여 x 및 z 좌표 구한 후, x좌표에 해당하는 sagittal image에서 z와 만나는 y좌표 산출하는 코뿌리점(Nasion) 산출 단계와,안장점(sella) 산출부에서 두 안구의 평균 상부와 하부 사이의 상악의 중점을 기준으로 특정 너비 만큼 MIP(최대강도투사)한 sagittal image에서 안장점(sella) 영역을 분할(segmentation)해서 딥러닝 후 그 중심좌표를 산출하는 안장점(sella) 산출 단계를 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.

10

제 9 항에 있어서, 상악 처리 이미지 결정 단계에서,치열의 후방으로부터 경계를 앞쪽으로 전진하면서, 앞쪽 끝부터 경계까지 관상(coronal) MIP(최대강도투사)를 만들면서 내부 구멍을 구하고, 구멍의 개수가 3개가 되는 곳 중, 구멍 넓이의 합이 가장 큰 단면에서 멈추는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.

11

제 10 항에 있어서, 깊이가 있는 연속된 hole인 안와, 대구개공(Foramen magnum), 포리온(Porion)을 포함하는 구멍의 중심을 한점의 위치로 정하기 위하여,구멍의 외부로부터 두께를 증가시키면서 MIP(최대강도투사) 시켜 나갔을 때 가장 큰 구멍 넓이가 나오는 곳을 해당 구멍의 위치로 잡거나,뼈로 둘러쌓여 closing된 구멍의 형태가 된 후, 가장 큰 너비가 나오는 단면을 선택하거나,특정 구조물의 sagittal 단면으로 정하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.

12

제 9 항에 있어서, 회전 처리 단계에서,정중시상면(midsagittal plane)은 관상(coronal) MIP(최대강도투사)에서 양쪽 안구의 중심의 수직이등분선이고, 정중시상면(midsagittal plane)이 바닥에 수직이 되게 전체 3D 이미지를 관상(coronal) 방향으로 회전하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.

13

제 9 항에 있어서, 포리온 산출 단계에서,과두(Condyle) 후방에서 1.5cm 내외, condylion 높이에서 라뮤시안(ramusian) 높이까지 영역중 가장 큰 구멍을 구하여 구멍 중심의 좌표를 구하고, 구멍의 x좌표는 과두(Condyle) 외측으로 정하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.

14

제 9 항에 있어서, 안장점(sella) 산출 단계에서,안장점(sella turcica) 영역을 분할(segmentation) 후 CBCT에서 3차원으로 딥러닝해서 그 중심좌표를 구하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.

15

제 5 항에 있어서, 하악 처리부에서 수행되는 하악 처리 단계는,회전 처리부에서 하악 정준선 구하기 및 바닥에 수직으로 회전하는 단계와,관상(Coronal) MIP(최대강도투사) 교정점 좌표 산출부에서 관상(Coronal) MIP(최대강도투사)에서 교정점 좌표 산출을 하는 단계와,Sagittal MIP(최대강도투사) 교정점 좌표 산출부에서 Sagittal MIP(최대강도투사)에서 교정점 좌표 산출을 하는 단계를 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.

16

제 15 항에 있어서, 하악 정준선 구하기 및 바닥에 수직으로 회전하는 단계는,computed modified AMP으로, 첫 기준은 이공, 혹은 axial에서 내려다 본 악궁(치열)의 knee point 양쪽에 모두 있는 대칭된 구조면 사용이 가능하고,회전시마다, 회전 후 sagittal MIP(최대강도투사)에서 B point를 구해 특정 각도 하후방으로 턱끝성형(genioplasty) 후 similarity index 비교를 하고, 하악의 정준선 바닥에 수직으로 회전을 하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.

17

제 15 항에 있어서, 관상(Coronal) MIP(최대강도투사)에서 교정점 좌표 산출을 하는 단계는,이진화된 하악 반구 → 관상(Coronal) MIP(최대강도투사) 과정으로, 이진화된 이미지의 가장 높은 점을 이용해 높이를 구하고, 해당 높이의 평면상의 점들의 평균 좌표로 나머지 좌표를 구하는 과정(Condylion)과, 교합평면에서 턱끝까지 바깥 윤곽선의 knee point를 이용해 z 및 x 좌표 구하고, x좌표 주변의 sagittal 방향 MIP(최대강도투사) 이미지에서 후방 윤곽선의 knee point를 이용해 y, z 좌표 구하고, 관상(coronal) MIP(최대강도투사) 이미지에서 해당 z좌표에 해당하는 x좌표 구해서 업데이트하는 과정(Gonion)과,교합평면 상방(ramus)만 남기고, ramus의 중심선에서 앞쪽만 남긴 후, 가장 높은 점의 z 및 x좌표 구하는 과정(coronoid process 끝)과,sagittal MIP(최대강도투사)에서 coronoid process의 끝과 condylion을 있는 선분을 그린 후 내부의 구멍의 가장 아래점의 높이를 구하고, 해당 높이의 평면상의 점들의 평균 좌표로 나머지 좌표를 구하는 과정을 포함하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.

18

제 5 항에 있어서, 좌표 업데이트부에서 수행되는 좌표 업데이트 단계는,수정된 3D 좌표들을 기준으로, 2차원 MIP(최대강도투사)에서 2차원 regression CNN 네트워크로 구할 수 있는 점들을 바탕으로 영역을 한정한 후, 3차원 regression CNN 네트워크로 학습하여 좌표들을 정밀화하여 업데이트 하는 것을 특징으로 하는 영상처리와 CNN을 이용한 자동 3차원 세팔로메트리 방법.