흉부 X선 이미지 판독 보고서 생성 장치에 의해 수행되는 흉부 X선 이미지 판독 보고서 생성 방법에 관한 것으로,적어도 한 개 이상의 흉부 X선 이미지 및 상기 흉부 X선 이미지에 대한 진단 보고서를 입력받는 단계;상기 입력받은 흉부 X선 이미지에 대한 이미지 특징 벡터와 상기 입력받은 흉부 X선 이미지의 진단 보고서에 대한 텍스트 특징 벡터를 동일한 임베딩 공간 상에 생성하는 단계;상기 입력받은 흉부 X선 이미지에 대한 이미지 특징 벡터 및 상기 입력받은 흉부 X선 이미지의 진단 보고서에 대한 텍스트 특징 벡터를 훈련 큐에 저장하는 단계;상기 생성한 이미지 특징 벡터 및 상기 훈련 큐에 저장한 텍스트 특징 벡터를 기반으로 질병 특징 벡터를 출력하는 단계;상기 생성한 이미지 특징 벡터 및 상기 훈련 큐에 저장한 텍스트 특징 벡터와의 유사도를 계산하고, 상기 계산한 유사도를 기반으로 유사한 복수 개의 텍스트 특징 벡터를 상기 훈련 큐에서 검색하는 단계; 및상기 생성한 텍스트 특징 벡터, 상기 출력한 질병 특징 벡터 및 상기 검색한 복수 개의 텍스트 특징 벡터를 기반으로 상기 입력받은 흉부 X선 이미지에 대한 보고서를 생성하는 단계;를 포함하는,흉부 X선 이미지 판독 보고서 생성 방법.

제1항에 있어서,상기 생성한 보고서에 대한 제2 텍스트 특징 벡터를 상기 동일한 임베딩 공간 상에 생성하는 단계;상기 생성한 이미지 특징 벡터 및 상기 생성한 제2 텍스트 특징 벡터를 기반으로 보정된 제2 텍스트 특징 벡터를 출력하는 단계; 및상기 보정된 제2 텍스트 특징 벡터, 상기 출력한 질병 특징 벡터 및 상기 검색한 복수 개의 텍스트 특징 벡터를 기반으로 상기 생성한 보고서를 수정하는 단계;를 더 포함하는,흉부 X선 이미지 판독 보고서 생성 방법.

제1항에 있어서,상기 입력받은 흉부 X선 이미지의 진단 보고서에 대한 텍스트 특징 벡터를 훈련 큐에 저장하는 단계는,상기 생성한 이미지 특징 벡터 및 상기 생성한 텍스트 특징 벡터의 대조 손실을 계산하는 단계;를 더 포함하고,상기 대조 손실을 계산하여 동일 샘플의 특징 벡터 간에는 상기 동일한 임베딩 공간 상에서 거리가 작아지도록, 상이한 샘플의 특징 벡터 간에는 상기 동일한 임베딩 공간 상에서 거리가 멀어지도록 정렬하는 것을 특징으로 하는,흉부 X선 이미지 판독 보고서 생성 방법.

제3항에 있어서,상기 대조 손실은 다음의 수학식(여기서, 은 상기 대조 손실, 은 상기 생성한 이미지 특징 벡터, 는 상기 생성한 텍스트 특징 벡터, 는 상기 훈련 큐에 저장된 j번째 이미지 특징 벡터, 는 상기 훈련 큐에 저장된 j번째 텍스트 특징 벡터, 는 학습 가능한 온도 파라미터, q는 상기 훈련 큐 내의 특성 개수, sim은 상기 생성한 이미지 특징 벡터 및 상기 생성한 텍스트 특징 벡터 간 코사인 유사도를 의미함.)을 통해 계산하는 것을 특징으로 하는,흉부 X선 이미지 판독 보고서 생성 방법.

제1항에 있어서,상기 생성한 이미지 특징 벡터 및 상기 훈련 큐에 저장한 텍스트 특징 벡터를 기반으로 질병 특징 벡터를 출력하는 단계는,상기 생성한 이미지 특징 벡터를 기반으로 상기 입력받은 흉부 X선 이미지의 질병 주석을 예측하는 단계; 및상기 예측한 질병 주석 및 상기 입력받은 흉부 X선 이미지의 진단 보고서의 실제 질병 주석을 기반으로 분류 손실을 계산하는 단계;를 포함하는,흉부 X선 이미지 판독 보고서 생성 방법.

제5항에 있어서,상기 분류 손실은 다음의 수학식(여기서, 는 상기 예측한 질병 주석, 은 상기 분류 손실, 은 상기 생성한 이미지 특징 벡터, 는 질병 임베딩 행렬, y는 상기 실제 질병 주석을 의미함.)을 통해 계산하는 것을 특징으로 하는,흉부 X선 이미지 판독 보고서 생성 방법.

제5항에 있어서,상기 질병 특징 벡터는 다음의 수학식(여기서, 는 상기 질병 특징 벡터, 는 상기 예측한 질병 주석, 는 상기 질병 임베딩 행렬, 는 상기 생성한 이미지 특징 벡터를 의미함.)을 통해 출력하는 것을 특징으로 하는,흉부 X선 이미지 판독 보고서 생성 방법.

제1항에 있어서,상기 생성한 이미지 특징 벡터 및 상기 훈련 큐에 저장한 텍스트 특징 벡터와의 유사도를 계산하고, 상기 계산한 유사도를 기반으로 유사한 복수 개의 텍스트 특징 벡터를 상기 훈련 큐에서 검색하는 단계는,상기 검색한 복수 개의 텍스트 특징 벡터의 실제 질병 주석 및 상기 입력받은 흉부 X선 이미지의 진단 보고서의 실제 질병 주석을 기반으로 질병 일치 제약을 계산하는 단계;를 더 포함하는,흉부 X선 이미지 판독 보고서 생성 방법.

제8항에 있어서,상기 질병 일치 제약을 계산하여 상기 검색한 복수 개의 텍스트 특징 벡터의 실제 질병 주석들이 상기 입력받은 흉부 X선 이미지의 진단 보고서의 실제 질병 주석을 포함하고 있는지 확인하는 것을 특징으로 하는,흉부 X선 이미지 판독 보고서 생성 방법.

제8항에 있어서,상기 질병 일치 제약은 다음의 수학식(여기서, 은 상기 질병 일치 제약, k는 상기 검색한 텍스트 특징 벡터의 개수, y는 상기 입력받은 흉부 X선 이미지의 진단 보고서의 실제 질병 주석, 는 i번째 상기 검색한 특징 벡터를 의미함.)을 통해 계산하는 것을 특징으로 하는,흉부 X선 이미지 판독 보고서 생성 방법.

제1항에 있어서,상기 생성한 텍스트 특징 벡터, 상기 출력한 질병 특징 벡터 및 상기 검색한 복수 개의 텍스트 특징 벡터를 기반으로 상기 입력받은 흉부 X선 이미지에 대한 보고서를 생성하는 단계는,상기 입력받은 흉부 X선 이미지의 진단 보고서, 상기 생성한 텍스트 특징 벡터, 상기 출력한 질병 특징 벡터 및 상기 검색한 복수 개의 텍스트 특징 벡터를 기반으로 생성 손실을 계산하는 단계;를 포함하는,흉부 X선 이미지 판독 보고서 생성 방법.

제11항에 있어서,상기 생성 손실은 다음의 수학식(여기서, 은 상기 생성 손실, 는 상기 입력받은 흉부 X선 이미지의 진단 보고서, l은 상기 입력받은 흉부 X선 이미지의 진단 보고서 토큰 수, 은 상기 입력받은 흉부 X선 이미지의 진단 보고서() 이전까지의 모든 토큰 시퀀스, 는 상기 출력한 질병 특징 벡터, 는 상기 생성한 텍스트 특징 벡터, 는 상기 검색한 복수 개의 텍스트 특징 벡터를 의미함.)을 통해 계산하는 것을 특징으로 하는,흉부 X선 이미지 판독 보고서 생성 방법.

제11항에 있어서,상기 생성한 텍스트 특징 벡터, 상기 출력한 질병 특징 벡터 및 상기 검색한 복수 개의 텍스트 특징 벡터를 기반으로 상기 입력받은 흉부 X선 이미지에 대한 보고서를 생성하는 단계는,상기 계산한 대조 손실, 상기 계산한 분류 손실, 상기 계산한 질병 일치 제약, 상기 계산한 생성 손실을 기반으로 총 손실을 계산하는 단계;를 포함하는,흉부 X선 이미지 판독 보고서 생성 방법.

제13항에 있어서,상기 총 손실은 다음의 수학식(여기서, 은 상기 총 손실, 은 상기 계산한 대조 손실, 은 상기 계산한 분류 손실, 은 상기 계산한 생성 손실, 은 상기 계산한 질병 일치 제약, 은 상기 분류 손실의 가중치, 은 상기 생성 손실의 가중치, 은 상기 질병 일치 제약 가중치를 의미함.)을 통해 계산하는 것을 특징으로 하는,흉부 X선 이미지 판독 보고서 생성 방법.

제2항에 있어서,상기 생성한 이미지 특징 벡터 및 상기 생성한 제2 텍스트 특징 벡터를 기반으로 보정된 제2 텍스트 특징 벡터를 출력하는 단계는,상기 생성한 이미지 특징 벡터 및 상기 생성한 제2 텍스트 특징 벡터를 기반으로 수정 손실을 계산하는 단계;를 포함하는,흉부 X선 이미지 판독 보고서 생성 방법.

제15항에 있어서,상기 수정 손실은 다음의 수학식(여기서, 는 상기 보정된 제2 텍스트 특징 벡터, 는 상기 수정 손실, 는 상기 생성한 제2 텍스트 특징 벡터, 는 제2 질병 임베딩 행렬, 는 상기 생성한 이미지 특징 벡터를 의미함.)을 통해 계산하는 것을 특징으로 하는,흉부 X선 이미지 판독 보고서 생성 방법.

제2항에 있어서,상기 보정된 제2 텍스트 특징 벡터, 상기 출력한 질병 특징 벡터, 상기 검색한 복수 개의 텍스트 특징 벡터를 기반으로 상기 생성한 보고서를 수정하는 단계는,상기 계산한 생성 손실 및 상기 계산한 수정 손실을 기반으로 제2 총 손실을 계산하는 단계;를 포함하는,흉부 X선 이미지 판독 보고서 생성 방법.

제17항에 있어서,상기 제2 총 손실은 다음의 수학식(여기서, 는 상기 제2 총 손실, 는 상기 계산한 수정 손실, 는 상기 수정 손실의 가중치를 의미함.)을 통해 계산하는 것을 특징으로 하는,흉부 X선 이미지 판독 보고서 생성 방법.

제1항에 있어서,상기 입력받은 흉부 X선 이미지에 대한 이미지 특징 벡터와 상기 입력받은 흉부 X선 이미지의 진단 보고서에 대한 텍스트 특징 벡터를 동일한 임베딩 공간 상에 생성하는 단계는,상기 입력받은 흉부 X선 이미지는 상기 입력받은 흉부 X선 이미지의 개수, 높이 및 너비에 대한 정보를 포함하고, 상기 입력받은 흉부 X선 이미지의 진단 보고서는 문장 길이에 대한 정보를 포함하고,상기 입력받은 흉부 X선 이미지를 이미지 인코더에 입력하고, 상기 입력받은 흉부 X선 이미지의 진단 보고서를 텍스트 인코더에 입력하여,사전 정의된 질병 클래스 수 및 임베딩 차원에 따라 구성된 상기 동일한 임베딩 공간 상에 상기 이미지 특징 벡터 및 상기 텍스트 특징 벡터를 생성하는 것을 특징으로 하는,흉부 X선 이미지 판독 보고서 생성 방법.

적어도 한 개 이상의 흉부 X선 이미지 및 상기 흉부 X선 이미지에 대한 진단 보고서를 입력받는 입력부; 및상기 입력받은 흉부 X선 이미지에 대한 이미지 특징 벡터와 상기 입력받은 흉부 X선 이미지의 진단 보고서에 대한 텍스트 특징 벡터를 동일한 임베딩 공간 상에 생성하고, 상기 입력받은 흉부 X선 이미지에 대한 이미지 특징 벡터 및 상기 입력받은 흉부 X선 이미지의 진단 보고서에 대한 텍스트 특징 벡터를 훈련 큐에 저장하고, 상기 생성한 이미지 특징 벡터 및 상기 훈련 큐에 저장한 텍스트 특징 벡터를 기반으로 질병 특징 벡터를 출력하고, 상기 생성한 이미지 특징 벡터 및 상기 훈련 큐에 저장한 텍스트 특징 벡터와의 유사도를 계산하고, 상기 계산한 유사도를 기반으로 유사한 복수 개의 텍스트 특징 벡터를 상기 훈련 큐에서 검색하고, 상기 생성한 텍스트 특징 벡터, 상기 출력한 질병 특징 벡터 및 상기 검색한 복수 개의 텍스트 특징 벡터를 기반으로 상기 입력받은 흉부 X선 이미지에 대한 보고서를 생성하고, 상기 생성한 보고서에 대한 제2 텍스트 특징 벡터를 상기 동일한 임베딩 공간 상에 생성하는 보고서 생성부;를 포함하는,흉부 X선 이미지 판독 보고서 생성 장치.

제20항에 있어서,상기 생성한 이미지 특징 벡터 및 상기 생성한 제2 텍스트 특징 벡터를 기반으로 보정된 제2 텍스트 특징 벡터를 출력하고, 상기 보정된 제2 텍스트 특징 벡터, 상기 출력한 질병 특징 벡터, 상기 검색한 복수 개의 텍스트 특징 벡터를 기반으로 상기 생성한 보고서를 수정하는 보고서 정제부;를 더 포함하는,흉부 X선 이미지 판독 보고서 생성 장치.