적어도 하나의 프로세서를 포함하는 컴퓨팅 장치에 의해 수행되는 구강 이미지 처리 방법으로서,구강 이미지를 제 1 뉴럴 네트워크 모델에 입력하여, 상기 구강 이미지에 대한 기하학적 정보(geometric information)를 생성하는 단계;사용자로부터 입력된 합성 메타데이터(synthesis metadata)를 이용하여, 상기 구강 이미지로부터 제 1 합성 이미지를 생성하는 단계;상기 합성 메타데이터에 기반한 이미지 처리 알고리즘을 상기 기하학적 정보에 적용함으로써, 가공된 기하학적 정보를 생성하는 단계; 및상기 제 1 합성 이미지 및 상기 가공된 기하학적 정보를 제 2 뉴럴 네트워크 모델에 입력하여, 상기 구강 이미지에 대한 시뮬레이션 결과를 나타내는 제 2 합성 이미지를 생성하는 단계;를 포함하고,상기 합성 메타데이터는 치아의 합성 위치 및 합성 종류에 관한 정보를 포함하고,상기 제 2 합성 이미지는 치료가 완료된 후의 구강 이미지에 대응하고,상기 치료는 상기 합성 메타데이터에 대응하는 것인,방법.

제 1 항에 있어서,상기 구강 이미지에 대한 기하학적 정보를 생성하는 단계는,상기 구강 이미지에 포함된 치아의 윤곽선 및 잇몸의 윤곽선을 검출하는 단계; 및상기 검출된 치아의 윤곽선 및 잇몸의 윤곽선을 포함하는, 상기 구강 이미지에 대한 기하학적 정보를 생성하는 단계;를 포함하는,방법.

제 1 항에 있어서,상기 제 1 합성 이미지를 생성하는 단계는,상기 구강 이미지와 상기 합성 메타데이터 간의 이미지 곱셈 연산을 수행하는 단계; 및상기 이미지 곱셈 연산에 기초하여, 상기 구강 이미지에 대한 제 1 합성 이미지를 생성하는 단계;를 포함하는,방법.

제 2 항에 있어서,상기 합성 메타데이터에 기반한 이미지 처리 알고리즘은,상기 합성 메타데이터에 기초하여 상기 기하학적 정보 중에서 보존 대상 정보를 결정하고, 그리고 상기 합성 메타데이터에 기초하여 상기 기하학적 정보 중에서 보존 대상 정보 이외의 정보를 변경하는,방법.

제 2 항에 있어서,상기 합성 종류가 치아 발치를 포함하는 경우 상기 이미지 처리 알고리즘은,상기 검출된 잇몸의 윤곽선에 대한 기하학적 정보를 보존하고, 그리고상기 검출된 치아의 윤곽선에 대한 기하학적 정보 중 발치하고자 하는 치아의 윤곽선에 대한 기하학적 정보를 제거하는,방법.

제 2 항에 있어서,상기 합성 종류가 치아 이식(implant)을 포함하는 경우 상기 이미지 처리 알고리즘은,상기 검출된 치아의 윤곽선 및 잇몸의 윤곽선에 대한 기하학적 정보를 보존하는,방법.

제 2 항에 있어서,상기 합성 종류가 인공 치관(dental crown)을 포함하는 경우 상기 이미지 처리 알고리즘은,상기 검출된 잇몸의 윤곽선에 대한 기하학적 정보를 보존하고, 그리고상기 검출된 치아의 윤곽선에 대한 기하학적 정보 중 인공 치관하고자 하는 치아의 윤곽선에 대한 기하학적 정보를 제거하는,방법.

제 1 항에 있어서,상기 합성 메타데이터에 기반한 이미지 처리 알고리즘을 상기 기하학적 정보에 적용함으로써, 상기 가공된 기하학적 정보를 생성하는 단계는, 상기 합성 메타 데이터로부터 합성 종류 정보 및 합성 위치 정보를 결정하는 단계;상기 결정된 합성 위치 정보에 대응하는 치아 정보를 결정하는 단계; 및상기 결정된 치아 정보 및 상기 합성 종류 정보를 기초로, 상기 가공된 기하학적 정보를 생성하는 단계;를 포함하는, 방법.

제 7 항에 있어서,상기 결정된 합성 종류 정보는, 치아 발치, 치아 이식(implant), 인공 치관(dental crown) 중 적어도 하나를 포함하는,방법.

제 1 항에 있어서,상기 구강 이미지에 대한 시뮬레이션 결과를 나타내는 제 2 합성 이미지를 생성하는 단계는,상기 제 1 합성 이미지, 상기 가공된 기하학적 정보 및 상기 합성 메타데이터를 제 2 뉴럴 네트워크 모델에 입력하여, 상기 제 2 합성 이미지를 생성하는 단계를 포함하는,방법.

제 1 항에 있어서,상기 제 2 뉴럴 네트워크 모델은, 추론(inference) 과정에서 사용되는 입력 데이터와 상이한 종류의 입력 데이터를 사용하여 사전 학습된, 방법.

제 11 항에 있어서,상기 제 2 뉴럴 네트워크 모델의 학습 과정에서는, 상기 제 1 합성 이미지 및 상기 기하학적 정보가 입력 데이터로서 사용되며, 그리고상기 제 2 뉴럴 네트워크 모델의 추론 과정에서는, 상기 제 1 합성 이미지 및 상기 가공된 기하학적 정보가 입력 데이터로서 사용되는, 방법.

제 1 항에 있어서,상기 제 2 뉴럴 네트워크 모델은, 상기 구강 이미지를 상기 제 1 뉴럴 네트워크 모델에 입력하여 상기 구강 이미지에 대한 기하학적 정보를 생성하는 단계;사용자로부터 입력된 합성 메타데이터를 이용하여, 상기 구강 이미지로부터 제 1 합성 이미지를 생성하는 단계; 상기 기하학적 정보 및 상기 제 1 합성 이미지를 상기 제 2 뉴럴 네트워크 모델에 입력하여, 상기 제 2 합성 이미지를 생성하는 단계; 및상기 구강 이미지와 상기 제 2 합성 이미지 사이의 손실 함수(loss function)의 값에 기초하여 상기 제 2 뉴럴 네트워크 모델을 업데이트하는 단계;를 포함하는 학습 과정에 의해 사전 학습되는,방법.

제 1 항에 있어서,상기 제 2 뉴럴 네트워크 모델은 복수의 서브 뉴럴 네트워크 모델들을 포함하며, 상기 합성 메타데이터는 복수의 합성 종류들 중 적어도 하나의 합성 종류를 나타내는 합성 종류 정보를 포함하며, 그리고상기 복수의 서브 뉴럴 네트워크 모델들 각각은 상기 합성 메타데이터에 포함된 단일의 합성 종류 정보에 대응하여 독립적으로 학습되는,방법.

제 14 항에 있어서,상기 합성 메타데이터에 포함된 합성 종류 정보를 결정하는 단계; 및상기 결정된 합성 종류 정보에 기초하여, 상기 제 2 뉴럴 네트워크 모델에 포함된 복수의 서브 뉴럴 네트워크 모델들 중에서, 상기 제 2 합성 이미지를 생성하기 위한 서브 뉴럴 네트워크 모델을 결정하는 단계;를 더 포함하며,상기 제 2 합성 이미지를 생성하는 단계는,상기 결정된 서브 뉴럴 네트워크 모델에 상기 제 1 합성 이미지 및 상기 가공된 기하학적 정보를 입력하여, 상기 제 2 합성 이미지를 생성하는 단계;를 포함하는,방법.

적어도 하나의 프로세서를 포함하는 컴퓨팅 장치에 의해 수행되는 구강 이미지 처리 방법으로서, 구강 이미지를 제 1 뉴럴 네트워크 모델에 입력하여, 상기 구강 이미지에 대한 기하학적 정보(geometric information)를 생성하는 단계;사용자로부터 입력된 합성 메타데이터에 기반한 이미지 처리 알고리즘을 상기 기하학적 정보에 적용함으로써, 가공된 기하학적 정보를 생성하는 단계; 상기 합성 메타데이터에 기초하여, 복수의 서브 뉴럴 네트워크 모델들을 포함하는 제 2 뉴럴 네트워크 모델 중 추론(inference)동작을 수행할 서브 뉴럴 네트워크 모델을 결정하는 단계; 및상기 결정된 서브 뉴럴 네트워크 모델을 이용하여, 상기 구강 이미지에 대한 시뮬레이션 결과를 나타내는 합성 이미지를 생성하는 단계;를 포함하고,상기 합성 메타데이터는 치아의 합성 위치 및 합성 종류에 관한 정보를 포함하고,상기 합성 이미지는 치료가 완료된 후의 구강 이미지에 대응하고,상기 치료는 상기 합성 메타데이터에 대응하는 것인,방법.

제 16 항에 있어서,상기 복수의 서브 뉴럴 네트워크 모델들 각각은 단일의 합성 종류 정보 각각에 대응되어 독립적으로 사전학습되며, 그리고상기 복수의 서브 뉴럴 네트워크 모델들을 포함하는 제 2 뉴럴 네트워크 모델 중 추론(inference)동작을 수행할 서브 뉴럴 네트워크 모델을 결정하는 단계는, 상기 합성 메타데이터에 포함된 합성 종류 정보를 결정하는 단계; 및상기 결정된 합성 종류 정보에 기초하여, 상기 제 2 뉴럴 네트워크 모델에 포함된 상기 복수의 서브 뉴럴 네트워크 모델들 중에서, 상기 합성 이미지를 생성하기 위한 서브 뉴럴 네트워크 모델을 결정하는 단계;를 더 포함하는,방법.

컴퓨터 판독가능 저장 매체 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 프로세서에서 실행되는 경우, 구강 이미지를 처리하는 동작들을 수행하도록 하며, 상기 동작들은:구강 이미지를 제 1 뉴럴 네트워크 모델에 입력하여, 상기 구강 이미지에 대한 기하학적 정보(geometric information)를 생성하는 동작;사용자로부터 입력된 합성 메타데이터(synthesis metadata)를 이용하여, 상기 구강 이미지로부터 제 1 합성 이미지를 생성하는 동작;상기 합성 메타데이터에 기반한 이미지 처리 알고리즘을 상기 기하학적 정보에 적용함으로써, 가공된 기하학적 정보를 생성하는 동작; 및상기 제 1 합성 이미지 및 상기 가공된 기하학적 정보를 제 2 뉴럴 네트워크 모델에 입력하여, 상기 구강 이미지에 대한 시뮬레이션 결과를 나타내는 제 2 합성 이미지를 생성하는 동작; 을 포함하고,상기 합성 메타데이터는 치아의 합성 위치 및 합성 종류에 관한 정보를 포함하고,상기 제 2 합성 이미지는 치료가 완료된 후의 구강 이미지에 대응하고, 상기 치료는 상기 합성 메타데이터에 대응하는 것인,컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램.

딥러닝을 기반으로 구강 이미지 처리를 수행하는 컴퓨팅 장치로서,적어도 하나의 코어를 포함하는 프로세서;상기 프로세서에서 실행 가능한 프로그램 코드들을 포함하는 메모리; 및이미지를 수신하는 네트워크부;를 포함하고,상기 프로세서는,구강 이미지를 제 1 뉴럴 네트워크 모델에 입력하여, 상기 구강 이미지에 대한 기하학적 정보(geometric information)를 생성하고,사용자로부터 입력된 합성 메타데이터(synthesis metadata)를 이용하여, 상기 구강 이미지로부터 제 1 합성 이미지를 생성하고,상기 합성 메타데이터에 기반한 이미지 처리 알고리즘을 상기 기하학적 정보에 적용함으로써, 가공된 기하학적 정보를 생성하고, 그리고상기 제 1 합성 이미지 및 상기 가공된 기하학적 정보를 제 2 뉴럴 네트워크 모델에 입력하여, 상기 구강 이미지에 대한 시뮬레이션 결과를 나타내는 제 2 합성 이미지를 생성하고,상기 합성 메타데이터는 치아의 합성 위치 및 합성 종류에 관한 정보를 포함하고,상기 제 2 합성 이미지는 치료가 완료된 후의 구강 이미지에 대응하고,상기 치료는 상기 합성 메타데이터에 대응하는 것인,장치.

구강 이미지 처리를 위한 뉴럴 네트워크의 연산과 관련된 데이터를 저장하는 데이터 구조가 저장된 컴퓨터 판독가능한 기록 매체로서, 상기 데이터는 이하의 동작을 통해 획득되며, 상기 동작은,구강 이미지를 제 1 뉴럴 네트워크 모델에 입력하여, 상기 구강 이미지에 대한 기하학적 정보(geometric information)를 생성하는 동작;사용자로부터 입력된 합성 메타데이터(synthesis metadata)를 이용하여, 상기 구강 이미지로부터 제 1 합성 이미지를 생성하는 동작;상기 합성 메타데이터에 기반한 이미지 처리 알고리즘을 상기 기하학적 정보에 적용함으로써, 가공된 기하학적 정보를 생성하는 동작; 및상기 제 1 합성 이미지 및 상기 가공된 기하학적 정보를 제 2 뉴럴 네트워크 모델에 입력하여, 상기 구강 이미지에 대한 시뮬레이션 결과를 나타내는 제 2 합성 이미지를 생성하는 동작;을 포함하고,상기 합성 메타데이터는 치아의 합성 위치 및 합성 종류에 관한 정보를 포함하고,상기 제 2 합성 이미지는 치료가 완료된 후의 구강 이미지에 대응하고, 상기 치료는 상기 합성 메타데이터에 대응하는 것인,데이터 구조가 저장된 컴퓨터 판독가능한 기록 매체.