Medical Imaging Segmentation, Prediction, and Medical Report Generation
연구 내용
의료 영상에서 분할·특징 추출·예후 예측을 수행하고, 영상-텍스트 간 대비 학습을 통해 흉부 X선 기반 의료 리포트를 생성·검색하는 연구
의료 영상 데이터는 라벨 부족과 도메인 특성 차이로 인해 일반화가 제한되는 문제가 있습니다. 본 연구는 망막 혈관 분할처럼 구조 기반 특징을 모델링하기 위해 딥러닝과 HMM을 결합하는 접근을 수행합니다. 3D 의료 분할에서는 masked image modeling 계열의 자기지도학습에서 작은 데이터의 일반화 저하를 보완하기 위해 주파수 영역 정보를 학습에 포함하고, 저주파와 고주파 표현의 균형을 개선하는 Spectral Distance Scaling Loss를 적용합니다. 또한 환자 영상 기반 약물 반응 예측에서는 딥 특징을 전역·국소 수준으로 축소 및 융합하여 QDA 기반 예측으로 연결합니다. 나아가 흉부 X선 영상과 질의 텍스트 간의 관계를 intra-modal과 inter-modal 대비 학습으로 정렬해 의료 리포트 retrieval/생성 파이프라인을 구축합니다.
관련 연구 성과
관련 논문
4편
관련 특허
0건
관련 프로젝트
0건
연구 흐름
초기 연구는 의료 영상에서 의미 있는 구조를 추출하기 위한 분할 모델을 중심으로 진행되었으며, 딥러닝 기반 표현과 HMM의 순차 구조 가정을 결합하여 망막 혈관 분할 성능을 확보했습니다. 이후에는 3D 의료 분할로 확장하면서 자기지도학습의 일반화 한계를 주파수 영역 학습과 다중 해상도 분해를 통해 완화하는 방향으로 연구를 수행했습니다. 그 다음에는 약물 반응 예측처럼 영상 분류·예측 파이프라인으로 확장하여 축소된 딥 특징 융합과 차별 분석 기반 판별을 적용했습니다. 최근에는 영상-텍스트 멀티모달 대비 학습을 활용해 흉부 X선 의료 리포트 생성/검색 문제로 연구를 확장하고 있습니다.
활용 가능성
활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.
관련 논문
구분
제목
Developing a Novel Methodology by Integrating Deep Learning and HMM for Segmentation of Retinal Blood Vessels in Fundus Images
SDSL: Spectral Distance Scaling Loss Pretraining SwinUNETR for 3D Medical Image Segmentation
Developing liver cancer drug response prediction system using late fusion of reduced deep features
DuCo-Net: Dual-Contrastive Learning Network for Medical Report Retrieval Leveraging Enhanced Encoders and Augmentations