주의 기반 멀티모달 변분 자동인코더(AMVAE)를 이용해 도출된 각 모달리티의 주요 특징을 PoE 접근법으로 압축된 저차원 잠재 공간에서 결합하여 결합 모달리티를 출력하고, 결합 모달리티 영상과 원본 영상을 재구성하는 공동특징 학습장치;재구성된 결합 모달리티 영상의 데이터 세트의 누락 데이터를 글로벌 평균 접근법을 이용하여 도출된 보완데이터로 보완하는 누락데이터 보완장치; 상기 누락데이터가 보완된 결합 모달리티에 대한 현재 시점 t의 마스킹 벡터와 LSTN(Long Short Term Network)로 다음 시점 t+1의 결합 모달리티 영상의 특징을 추출하는 인코딩 장치; 및상기 결합 모달리티의 특징에 대한 RNN((Recurrent Neural Network)으로 질병 진단 및 진행 상태를 추정하는 추정장치를 포함하는 것을 특징으로 하는 적응형 크로스 모달 특징 시스템.

제1항에 있어서, 상기 공동특징 학습장치는,각 모달리티 데이터 시퀀스의 특징을 추출하고 특징에 대한 변분 추론(Variational Inference) 기법으로 증거 하한을 도출하며 도출된 증거 하한을 최대화하는 가중치로 각 모달리티를 인코딩하는 인코더;상기 인코딩된 각 모달리티에 대한 PoE 접근 기법을 수행하여 저차원 잠재 공간에 통합하여 결합 모달리티를 출력하는 결합부; 및상기 결합 모달리티 영상을 상기 인코더의 잠재 변수를 이용하여 결합 모달리티와 원본 영상을 압축된 잠재 공간에서 디코딩하여 재구성하는 디코더를 포함하는 적응형 크로스 모달 특징 시스템.

제2항에 있어서, 상기 잠재 변수는상기 결합 모달리티의 결합 평균 및 분산의 역수인 정밀도로 도출되는 적응형 크로스 모달 특징 시스템.

제1항에 있어서, 상기 누락데이터 보완장치는, 입력 영상 데이터 , 바이오마커 데이터 , 진단 데이터 ,및 개인 데이터 의 데이터 세트의 누락 데이터의 보완 데이터로,상기 보완 데이터 는, 기 정해진 시점 t에서의 결합 모달리티의 마스킹 벡터 및 결합 데이터 의 결합 연산자와 마스킹 벡터 및 예측값 의 결합 연산자의 합 연산을 통해 도출되는 적응형 크로스 모달 특징 시스템.

제1항에 있어서 상기 추정장치는, RNN(Recurrent Neural Network)의 은닉 상태 데이터 및 보완데이터의 결합으로 예측된 다음 시점의 바이오마커 데이터와 상기 은닉 상태 데이터에 소프트맥스 함수 및 다중 클래스 분류기를 토대로 도출된 진단 데이터를 토대로 질병 진단 및 질병 진행 상태를 추정하도록 구비되는 적응형 크로스 모달 특징 시스템.

제1항의 적응형 크로스 모달 특징 시스템에 의해 수행되는 적응형 크로스 모달 특징 방법에 있어서,상기 적응형 크로스 모달 특징 시스템에 포함되는 적어도 하나의 프로세서는, 주의 기반 멀티모달 변분 자동인코더(AMVAE)를 이용해 도출된 각 모달리티의 주요 특징을 PoE 접근법으로 압축된 저차원 잠재 공간에서 결합하여 결합 모달리티를 출력하고, 결합 모달리티 영상과 원본 영상을 재구성하는 공동특징 학습단계;재구성된 결합 모달리티 영상의 데이터 세트의 누락 데이터를 글로벌 평균 접근법을 이용하여 도출된 보완데이터로 보완하는 누락데이터 보완단계; 상기 누락데이터가 보완된 결합 모달리티에 대한 현재 시점 t의 마스킹 벡터와 LSTN(Long Short Term Network)로 다음 시점 t+1의 결합 모달리티 영상의 특징을 추출하는 인코딩 단계; 및상기 결합 모달리티의 특징에 대한 RNN((Recurrent Neural Network)으로 질병 진단 및 진행 상태를 추정하는 추정단계를 포함하는 것을 특징으로 하는 적응형 크로스 모달 특징 방법.

제6항에 있어서, 상기 공동특징 학습단계는,각 모달리티 데이터 시퀀스의 특징을 추출하고 특징에 대한 변분 추론(Variational Inference) 기법으로 증거 하한을 도출하며 도출된 증거 하한을 최대화하는 가중치로 각 모달리티를 인코딩하는 단계;상기 인코딩된 각 모달리티에 대한 PoE 접근 기법을 수행하여 저차원 잠재 공간에 통합하여 결합 모달리티를 출력하는 단계; 및상기 결합 모달리티 영상을 상기 인코딩하는 단계의 잠재 변수를 이용하여 결합 모달리티와 원본 영상을 압축된 잠재 공간에서 디코딩하여 재구성하는 단계를 포함하는 적응형 크로스 모달 특징 방법.

제7항에 있어서, 상기 잠재 변수는상기 결합 모달리티의 결합 평균 및 분산의 역수인 정밀도로 도출되는 적응형 크로스 모달 특징 방법.

제6항에 있어서, 상기 누락데이터 보완 단계는, 입력 영상 데이터 , 바이오마커 데이터 , 진단 데이터 ,및 개인 데이터 의 데이터 세트의 누락 데이터의 보완 데이터로,상기 보완 데이터 는, 기 정해진 시점 t에서의 결합 모달리티의 마스킹 벡터 및 결합 데이터 의 결합 연산자와 마스킹 벡터 및 예측값 의 결합 연산자의 합 연산을 통해 도출되는 적응형 크로스 모달 특징 방법.

제6항에 있어서, 상상기 추정단계는, RNN(Recurrent Neural Network)의 은닉 상태 데이터 및 보완데이터의 결합으로 예측된 다음 시점의 바이오마커 데이터와 상기 은닉 상태 데이터에 소프트맥스 함수 및 다중 클래스 분류기를 토대로 도출된 진단 데이터를 토대로 질병 진단 및 질병 진행 상태를 추정하도록 구비되는 적응형 크로스 모달 특징 방법.

제6항 내지 제10항 중 어느 한 항의 적응형 크로스 모달 특징 방법을 컴퓨터에 실행시키기 위한 프로그램이 기록된 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록매체.

컴퓨터와 결합되어 적응형 크로스 모달 특징 방법을 컴퓨터에 실행시키기 위해 컴퓨터에서 판독가능한 기록매체에 저장된 컴퓨터 프로그램에 있어서,상기 적응형 크로스 모달 특징 방법은,주의 기반 멀티모달 변분 자동인코더(AMVAE)를 이용해 도출된 각 모달리티의 주요 특징을 PoE 접근법으로 압축된 저차원 잠재 공간에서 결합하여 결합 모달리티를 출력하고, 결합 모달리티 영상과 원본 영상을 재구성하는 공동특징 학습단계;재구성된 결합 모달리티 영상의 데이터 세트의 누락 데이터를 글로벌 평균 접근법을 이용하여 도출된 보완데이터로 보완하는 누락데이터 보완단계; 상기 누락데이터가 보완된 결합 모달리티에 대한 현재 시점 t의 마스킹 벡터와 LSTN(Long Short Term Network)로 다음 시점 t+1의 결합 모달리티 영상의 특징을 추출하는 인코딩 단계; 및상기 결합 모달리티의 특징에 대한 RNN((Recurrent Neural Network)으로 질병 진단 및 진행 상태를 추정하는 추정단계를 포함하고,상기 공동특징 학습단계는,각 모달리티 데이터 시퀀스의 특징을 추출하고 특징에 대한 변분 추론(Variational Inference) 기법으로 증거 하한을 도출하며 도출된 증거 하한을 최대화하는 가중치로 각 모달리티를 인코딩하는 단계;상기 인코딩된 각 모달리티에 대한 PoE 접근 기법을 수행하여 저차원 잠재 공간에 통합하여 결합 모달리티를 출력하는 단계; 및상기 결합 모달리티 영상을 상기 인코딩하는 단계의 잠재 변수를 이용하여 결합 모달리티와 원본 영상을 압축된 잠재 공간에서 디코딩하여 재구성하는 단계를 포함하는 것을 특징으로 하는 적응형 크로스 모달 특징 시스템의 운영 프로그램.