의학 영상의학 보고서를 생성하는 기존의 과정은 방대하고 시간이 많이 소요되어, 영상의학과 전문의가 영상 연구로부터 소견을 면밀히 기술해야 한다. 이러한 수작업 방식은 종종 환자 진료에서 바람직하지 않은 지연을 초래한다. 컴퓨터 비전과 딥러닝의 발전에도 불구하고, 자동화된 의학 보고서를 생성하기 위한 효과적인 컴퓨터 보조 솔루션을 개발하는 일은 여전히 어렵다. 최근 딥러닝 기술의 발전, 특히 대조 학습(contrastive learning)의 도입은 자연어 감독(natural language supervision)에서 유의미한 성능을 보여주었다. 그러나 특히 흉부 X-ray(chest x-rays, CXR) 영역에서 의학 보고서 생성에 이를 적용하는 데에는 대규모 주석 데이터셋의 부재로 인해 한계가 있었다. 많은 연구들이 자연 이미지의 데이터 부족 문제를 해결하기 위해 멀티모달 대조 학습(multimodal contrastive learning) 방식을 제안해 왔다. 그러나 의학 보고서 생성 관점에서 이러한 기법들이 효율적으로 탐색된 사례는 없다. 본 연구는 백본 네트워크와 증강 네트워크를 포함하는 이중 대조 학습 네트워크(DuCo-Net)를 제안함으로써 이러한 과제들을 해결한다. 백본 네트워크는 원본 데이터로 학습되는 반면, 증강 네트워크는 통합된 프레임워크에서 교차 모델 증강 학습을 강조한다. DuCo-Net은 두 가지 상호 보완적인 학습 메커니즘을 가능하게 한다. 즉, 이미지 또는 텍스트 중 각 양식(modality) 내에서 각 네트워크가 전문화된 특징을 학습하는 양식 내(intra-modal) 학습과, 결합된 손실함수(combined loss function)를 통해 이미지와 텍스트 양식 간의 관계를 포착하는 양식 간(inter-modal) 학습이다. 이러한 이중 학습 접근은 의료 데이터를 처리하도록 특별히 맞춤화된 고급 풀링 기법을 적용하여 수정된 DenseNet121 및 BioBERT 모델을 활용한다. 두 개의 공개 데이터셋에 대한 포괄적 평가는 DuCo-Net이 기존 벤치마크를 유의미하게 능가함을 보여준다. Indiana University Chest X-rays 데이터셋에서는 제안 방법론이 표준 지표 전반에서 유의미한 향상을 보였으며(BLEU-1: 0.50, ROUGE: 0.40, METEOR: 0.24, F1: 0.40), MIMIC-CXR 데이터셋에서도 견고한 성능을 유지하였다(BLEU-1: 0.42, ROUGE: 0.34, METEOR: 0.20, F1: 0.34). 이는 의학 보고서 생성에서 기존의 최첨단 접근법 대비 실질적인 개선을 나타낸다.

마스킹 이미지 모델링(masked image modeling, MIM)을 활용하는 자기지도학습 기반의 최근 접근법들은 높은 성능을 보여주었다. 그러나 MIM을 소규모 데이터셋에 그대로 적용할 경우, 하위 과제에 대한 일반화 성능이 저하된다. 본 연구는 데이터셋 부족이 야기하는 한계를 상세한 해부학적 구조의 포착이 보완할 수 있다고 가정하며, 의료 영상 과제에서의 일반화를 향상시키도록 설계된 Spectral Distance Scaling Loss(SDSL)를 제안한다. 전통적인 픽셀 기반 방법과 달리, SDSL은 저주파 및 고주파 상세 정보에 대한 균형 잡힌 학습을 보장하기 위해 인코더 표상을 강화하는 주파수 영역 정보를 포함한다. 또한 사전학습 모델이 여러 단계에 걸쳐 주파수 정보를 재구성할 수 있도록 하기 위해 웨이블릿 다중 해상도 분해(wavelet multi resolution decomposition)를 활용하였다. 종합적인 실험 결과, SDSL 사전학습은 기존 방법들보다 더 선명한 재구성 결과와 더 정확한 분할 성능을 제공함이 확인되었다. 제안된 접근법은 Beyond the Cranial Vault 데이터셋에서 평균 Dice 점수 84.17%, Medical Segmentation Decathlon Spleen 데이터셋에서 98.20%, Multimodality Whole Heart Segmentation 데이터셋에서 90.38%의 최고 평균 Dice 점수를 달성하였다. 이러한 결과는 스펙트럼 변이를 효과적으로 처리하고 모델의 일반화를 개선함으로써 의료 영상 기술을 발전시킬 SDSL의 잠재력을 강조한다.

간암은 전 세계적으로 사망의 주요 원인이며 높은 사망률을 보인다. 간암의 더 나은 치료 및 재활을 위해 약물 전달과 반응 예측을 평가하고 분석하는 것은 필수적이다. 본 연구에서는 딥 피처 추출을 위해 전이 학습(TL) 개념을 적용한 수정 ResNet101 딥러닝을 사용하여 간 항암 약물 반응을 예측하는 새로운 접근법을 제안한다. 차원 축소 알고리즘인 PCA와 t-SNE를 각각 딥 피처의 전역 및 국소 구조를 포착하기 위해 적용한다. 여기에서는 분류 성능을 향상시키기 위해 영상 정보의 전역 및 국소 수준을 사용하는 새로운 융합 방식을 도입한다. 축소된 딥 융합 피처를 이용하여 이차 판별 분석(QDA) 예측 모델을 개발한다. 제안된 접근법은 코발트 [email protected] 티탄산염([email protected]) 나노입자로 기능화된 항암제로 처리한 인간 간세포암종(HepG2)의 형광 이미지를 대상으로 평가한다. 203개의 HepG2 미세 이미지로 구성된 데이터셋을 사용하여 5-fold 교차 검증 기법을 적용하고, 75%:25%의 분할 비율로 모델을 학습 및 테스트한다. 제안된 시스템은 다른 최첨단 접근법과 비교하여 높은 정확도 98.0%를 달성하였다. 개발된 파이프라인은 유연하며 전립선암, 폐암 및 유방암으로 확장될 수 있다.

본 논문은 인간의 신경 처리 과정을 모방하여 비디오를 인간의 정서 범주로 자동 분류하는 방법을 제안한다. 이 방법에서는 정서 특이적인 뇌파(electroencephalography, EEG) 특성이 시청각 자극을 통해 생성된다. 제안된 방법에서는 먼저, 피험자가 비디오를 시청하는 동안 생성되는 EEG 신호로부터 샘플-어텐션 기반 딥 뉴럴 네트워크 인코더를 사용하여 정교한 정서 특성을 추출한다. 다음으로, 추출된 정서 EEG 특성과 해당 비디오의 콘텐츠로부터 추출된 시청각 특성 간의 직접 매핑 관계를 딥 빌리프 네트워크를 통해 학습한다. 실제 적용을 위해서는 입력 비디오에 대응하는 EEG 특성을, 인간의 EEG 신호를 측정하지 않고 기계가 학습한 능력을 바탕으로 자동 생성한 뒤, 이를 세그먼트-어텐션 기반 딥 뉴럴 네트워크 디코더에 적용하여 비디오의 정서 분류를 수행한다. 실험 결과, 제안된 방법은 비디오의 네 가지 정서 범주를 분류하는 데 평균 정확도 약 95%로 기존 방법들보다 유의하게 우수함을 보였다. 또한 자동화된 정서 비디오 분류와 관련하여, 우리의 인공 정서 EEG 특성 기반 접근법은 EEG를 직접 측정하는 모델들과 견줄 만한 경쟁력 있는 성능을 보였으며, 다양한 시청각 데이터 세트로 일반화될 수 있다.

시각-언어 모델(Vision–Language models, VLMs)은 자연 이미지 영역에서 괄목할 만한 성과를 거두었으나, 고품질의 공동 이미지-텍스트 데이터셋이 부족하여 농업 분야에서의 잠재력은 상대적으로 덜 탐구되어 있다. 이러한 한계를 해결하기 위해 우리는 VL-PAW(Vision–Language dataset for Pear, Apple, and Weed)를 소개한다. VL-PAW는 두 가지 핵심 농업 과제인 잡초 종 분류와 과일 검사에 대해 총 3.9K(3.9 thousand)개의 이미지-캡션 쌍으로 구성된 데이터셋이다. 우리는 VL-PAW에서 CLIP 모델을 미세조정(fine-tune)하고 여러 통찰을 얻었다. 첫째, 모델은 우수한 제로샷 성능을 보이며, 거친 라벨(coarse labels) 분류에서 98.21%의 정확도를 달성한다. 둘째, 세부 범주(fine-grained)에서는 시각-언어 모델이 시각 전용(vision-only) 모델보다 소수 샷 환경과 전체 데이터셋 학습 모두에서 더 뛰어난 성능을 보인다(1-shot: 56.79%; 2-shot: 72.82%; 3-shot: 74.49%; 10-shot: 83.85%). 셋째, 직관적인 캡션을 사용하면 클래스 이름만을 사용하는 경우에 비해 세부 수준의 과일 검사 성능이 향상된다. 이러한 결과는 향후 농업 질의 시스템에서 VLM의 적용 가능성을 보여준다.

본 연구는 Electric Parking Brake(EPB) 시스템의 핵심 구성요소인 자동차 브레이크 캘리퍼에서 제조 결함을 실시간으로 탐지하기 위한 비접촉 자동 충격-음향 측정 시스템(AIAMS)을 개발하고자 한다. 캘리퍼는 브레이크 패드를 디스크와 접촉시킨 상태로 고정하며, 반복 하중과 마찰로 인해 발생한 결함은 제동 성능 저하 및 비정상적인 진동과 소음을 초래할 수 있다. 이를 해결하기 위해 자동화된 임팩트 해머와 마이크로폰 기반 측정 시스템을 설계하고 구현하였다. 특징 추출은 Fast Fourier Transform(FFT)과 Principal Component Analysis(PCA)를 이용해 수행한 다음, Support Vector Machine(SVM), k-Nearest Neighbor(KNN), Decision Tree(DT) 등을 포함한 기계학습 알고리즘을 통해 결함 분류를 수행하였다. 실험은 5개의 정상 캘리퍼와 6개의 결함 캘리퍼 시편을 대상으로 진행하였고, 각 시편에 200회의 반복 측정을 실시하여 총 2200개의 데이터셋을 확보하였다. 12개의 통계 및 스펙트럼 특징을 추출하였으며, PCA 결과 Shannon Entropy(SE)가 가장 판별력이 높은 특징으로 나타났다. SE를 중심으로 한 특징 조합에 기반하여 SVM, KNN, DT 모델은 정상 및 결함 시편에 대해 각각 최소 99.2%/97.5%, 98.8%/98.0%, 99.2%/96.5%의 분류 정확도를 달성하였다. 또한 실시간 결함 식별 및 시각화를 가능하게 하기 위해 GUI 기반 소프트웨어(버전 1.0.0)를 구현하였다. 현장 시험에서도 결함 분류 평균 정확도가 95%를 초과하는 것으로 나타나, 이를 실시간 품질 관리 시스템으로 적용할 수 있음을 보여주었다.

의학 영상의학 보고서를 생성하는 기존의 과정은 방대하고 시간이 많이 소요되어, 영상의학과 전문의가 영상 연구로부터 소견을 면밀히 기술해야 한다. 이러한 수작업 방식은 종종 환자 진료에서 바람직하지 않은 지연을 초래한다. 컴퓨터 비전과 딥러닝의 발전에도 불구하고, 자동화된 의학 보고서를 생성하기 위한 효과적인 컴퓨터 보조 솔루션을 개발하는 일은 여전히 어렵다. 최근 딥러닝 기술의 발전, 특히 대조 학습(contrastive learning)의 도입은 자연어 감독(natural language supervision)에서 유의미한 성능을 보여주었다. 그러나 특히 흉부 X-ray(chest x-rays, CXR) 영역에서 의학 보고서 생성에 이를 적용하는 데에는 대규모 주석 데이터셋의 부재로 인해 한계가 있었다. 많은 연구들이 자연 이미지의 데이터 부족 문제를 해결하기 위해 멀티모달 대조 학습(multimodal contrastive learning) 방식을 제안해 왔다. 그러나 의학 보고서 생성 관점에서 이러한 기법들이 효율적으로 탐색된 사례는 없다. 본 연구는 백본 네트워크와 증강 네트워크를 포함하는 이중 대조 학습 네트워크(DuCo-Net)를 제안함으로써 이러한 과제들을 해결한다. 백본 네트워크는 원본 데이터로 학습되는 반면, 증강 네트워크는 통합된 프레임워크에서 교차 모델 증강 학습을 강조한다. DuCo-Net은 두 가지 상호 보완적인 학습 메커니즘을 가능하게 한다. 즉, 이미지 또는 텍스트 중 각 양식(modality) 내에서 각 네트워크가 전문화된 특징을 학습하는 양식 내(intra-modal) 학습과, 결합된 손실함수(combined loss function)를 통해 이미지와 텍스트 양식 간의 관계를 포착하는 양식 간(inter-modal) 학습이다. 이러한 이중 학습 접근은 의료 데이터를 처리하도록 특별히 맞춤화된 고급 풀링 기법을 적용하여 수정된 DenseNet121 및 BioBERT 모델을 활용한다. 두 개의 공개 데이터셋에 대한 포괄적 평가는 DuCo-Net이 기존 벤치마크를 유의미하게 능가함을 보여준다. Indiana University Chest X-rays 데이터셋에서는 제안 방법론이 표준 지표 전반에서 유의미한 향상을 보였으며(BLEU-1: 0.50, ROUGE: 0.40, METEOR: 0.24, F1: 0.40), MIMIC-CXR 데이터셋에서도 견고한 성능을 유지하였다(BLEU-1: 0.42, ROUGE: 0.34, METEOR: 0.20, F1: 0.34). 이는 의학 보고서 생성에서 기존의 최첨단 접근법 대비 실질적인 개선을 나타낸다.

마스킹 이미지 모델링(masked image modeling, MIM)을 활용하는 자기지도학습 기반의 최근 접근법들은 높은 성능을 보여주었다. 그러나 MIM을 소규모 데이터셋에 그대로 적용할 경우, 하위 과제에 대한 일반화 성능이 저하된다. 본 연구는 데이터셋 부족이 야기하는 한계를 상세한 해부학적 구조의 포착이 보완할 수 있다고 가정하며, 의료 영상 과제에서의 일반화를 향상시키도록 설계된 Spectral Distance Scaling Loss(SDSL)를 제안한다. 전통적인 픽셀 기반 방법과 달리, SDSL은 저주파 및 고주파 상세 정보에 대한 균형 잡힌 학습을 보장하기 위해 인코더 표상을 강화하는 주파수 영역 정보를 포함한다. 또한 사전학습 모델이 여러 단계에 걸쳐 주파수 정보를 재구성할 수 있도록 하기 위해 웨이블릿 다중 해상도 분해(wavelet multi resolution decomposition)를 활용하였다. 종합적인 실험 결과, SDSL 사전학습은 기존 방법들보다 더 선명한 재구성 결과와 더 정확한 분할 성능을 제공함이 확인되었다. 제안된 접근법은 Beyond the Cranial Vault 데이터셋에서 평균 Dice 점수 84.17%, Medical Segmentation Decathlon Spleen 데이터셋에서 98.20%, Multimodality Whole Heart Segmentation 데이터셋에서 90.38%의 최고 평균 Dice 점수를 달성하였다. 이러한 결과는 스펙트럼 변이를 효과적으로 처리하고 모델의 일반화를 개선함으로써 의료 영상 기술을 발전시킬 SDSL의 잠재력을 강조한다.

간암은 전 세계적으로 사망의 주요 원인이며 높은 사망률을 보인다. 간암의 더 나은 치료 및 재활을 위해 약물 전달과 반응 예측을 평가하고 분석하는 것은 필수적이다. 본 연구에서는 딥 피처 추출을 위해 전이 학습(TL) 개념을 적용한 수정 ResNet101 딥러닝을 사용하여 간 항암 약물 반응을 예측하는 새로운 접근법을 제안한다. 차원 축소 알고리즘인 PCA와 t-SNE를 각각 딥 피처의 전역 및 국소 구조를 포착하기 위해 적용한다. 여기에서는 분류 성능을 향상시키기 위해 영상 정보의 전역 및 국소 수준을 사용하는 새로운 융합 방식을 도입한다. 축소된 딥 융합 피처를 이용하여 이차 판별 분석(QDA) 예측 모델을 개발한다. 제안된 접근법은 코발트 [email protected] 티탄산염([email protected]) 나노입자로 기능화된 항암제로 처리한 인간 간세포암종(HepG2)의 형광 이미지를 대상으로 평가한다. 203개의 HepG2 미세 이미지로 구성된 데이터셋을 사용하여 5-fold 교차 검증 기법을 적용하고, 75%:25%의 분할 비율로 모델을 학습 및 테스트한다. 제안된 시스템은 다른 최첨단 접근법과 비교하여 높은 정확도 98.0%를 달성하였다. 개발된 파이프라인은 유연하며 전립선암, 폐암 및 유방암으로 확장될 수 있다.