의학 영상의학 보고서를 생성하는 기존의 과정은 방대하고 시간이 많이 소요되어, 영상의학과 전문의가 영상 연구로부터 소견을 면밀히 기술해야 한다. 이러한 수작업 방식은 종종 환자 진료에서 바람직하지 않은 지연을 초래한다. 컴퓨터 비전과 딥러닝의 발전에도 불구하고, 자동화된 의학 보고서를 생성하기 위한 효과적인 컴퓨터 보조 솔루션을 개발하는 일은 여전히 어렵다. 최근 딥러닝 기술의 발전, 특히 대조 학습(contrastive learning)의 도입은 자연어 감독(natural language supervision)에서 유의미한 성능을 보여주었다. 그러나 특히 흉부 X-ray(chest x-rays, CXR) 영역에서 의학 보고서 생성에 이를 적용하는 데에는 대규모 주석 데이터셋의 부재로 인해 한계가 있었다. 많은 연구들이 자연 이미지의 데이터 부족 문제를 해결하기 위해 멀티모달 대조 학습(multimodal contrastive learning) 방식을 제안해 왔다. 그러나 의학 보고서 생성 관점에서 이러한 기법들이 효율적으로 탐색된 사례는 없다. 본 연구는 백본 네트워크와 증강 네트워크를 포함하는 이중 대조 학습 네트워크(DuCo-Net)를 제안함으로써 이러한 과제들을 해결한다. 백본 네트워크는 원본 데이터로 학습되는 반면, 증강 네트워크는 통합된 프레임워크에서 교차 모델 증강 학습을 강조한다. DuCo-Net은 두 가지 상호 보완적인 학습 메커니즘을 가능하게 한다. 즉, 이미지 또는 텍스트 중 각 양식(modality) 내에서 각 네트워크가 전문화된 특징을 학습하는 양식 내(intra-modal) 학습과, 결합된 손실함수(combined loss function)를 통해 이미지와 텍스트 양식 간의 관계를 포착하는 양식 간(inter-modal) 학습이다. 이러한 이중 학습 접근은 의료 데이터를 처리하도록 특별히 맞춤화된 고급 풀링 기법을 적용하여 수정된 DenseNet121 및 BioBERT 모델을 활용한다. 두 개의 공개 데이터셋에 대한 포괄적 평가는 DuCo-Net이 기존 벤치마크를 유의미하게 능가함을 보여준다. Indiana University Chest X-rays 데이터셋에서는 제안 방법론이 표준 지표 전반에서 유의미한 향상을 보였으며(BLEU-1: 0.50, ROUGE: 0.40, METEOR: 0.24, F1: 0.40), MIMIC-CXR 데이터셋에서도 견고한 성능을 유지하였다(BLEU-1: 0.42, ROUGE: 0.34, METEOR: 0.20, F1: 0.34). 이는 의학 보고서 생성에서 기존의 최첨단 접근법 대비 실질적인 개선을 나타낸다.

마스킹 이미지 모델링(masked image modeling, MIM)을 활용하는 자기지도학습 기반의 최근 접근법들은 높은 성능을 보여주었다. 그러나 MIM을 소규모 데이터셋에 그대로 적용할 경우, 하위 과제에 대한 일반화 성능이 저하된다. 본 연구는 데이터셋 부족이 야기하는 한계를 상세한 해부학적 구조의 포착이 보완할 수 있다고 가정하며, 의료 영상 과제에서의 일반화를 향상시키도록 설계된 Spectral Distance Scaling Loss(SDSL)를 제안한다. 전통적인 픽셀 기반 방법과 달리, SDSL은 저주파 및 고주파 상세 정보에 대한 균형 잡힌 학습을 보장하기 위해 인코더 표상을 강화하는 주파수 영역 정보를 포함한다. 또한 사전학습 모델이 여러 단계에 걸쳐 주파수 정보를 재구성할 수 있도록 하기 위해 웨이블릿 다중 해상도 분해(wavelet multi resolution decomposition)를 활용하였다. 종합적인 실험 결과, SDSL 사전학습은 기존 방법들보다 더 선명한 재구성 결과와 더 정확한 분할 성능을 제공함이 확인되었다. 제안된 접근법은 Beyond the Cranial Vault 데이터셋에서 평균 Dice 점수 84.17%, Medical Segmentation Decathlon Spleen 데이터셋에서 98.20%, Multimodality Whole Heart Segmentation 데이터셋에서 90.38%의 최고 평균 Dice 점수를 달성하였다. 이러한 결과는 스펙트럼 변이를 효과적으로 처리하고 모델의 일반화를 개선함으로써 의료 영상 기술을 발전시킬 SDSL의 잠재력을 강조한다.