Recent deep learning-based brain tumor segmentation models using multi-modality magnetic resonance imaging: a prospective survey
Zain Ul Abıdın, Rizwan Ali Naqvi, Amir Haider, Hyung Seok Kim, Daesik Jeong, Seung Won Lee
IF 4.8 (2024)
Frontiers in Bioengineering and Biotechnology
뇌종양 환자에서 뇌종양을 분할(segmentation)하고 그 크기와 위치를 결정하는 과정은 치료 계획에 도움이 되기 때문에 영상의학과 전문의에게 상당한 어려움을 야기한다. 인공지능(AI), 특히 딥러닝(DL)의 활용은 의료 분야에서 유용한 도구로 부상하였으며, 영상의학과 전문의의 진단 과정에 도움을 제공한다. 이는 영상의학과 전문의가 종양의 생물학적 특성을 보다 잘 이해하고 뇌종양 환자에게 맞춤형 치료를 제공할 수 있도록 한다. 다중 모달 자기공명영상(MRI) 이미지를 이용한 뇌종양 분할은 상당한 주목을 받아왔다. 본 총설에서는 먼저 다중 모달 및 이용 가능한 자기공명영상 양식의 종류와 특성을 논의한다. 이어서 다중 모달 MRI를 활용한 뇌종양 분할을 위한 최신 DL 기반 모델을 논의한다. 이 절은 아키텍처(구조)에 따라 세 부분으로 나누는데, 첫째는 합성곱 신경망(CNN)의 백본을 사용하는 모델, 둘째는 비전 트랜스포머(vision transformer) 기반 모델, 셋째는 아키텍처에서 합성곱 신경망과 트랜스포머를 모두 사용하는 하이브리드(hybrid) 모델이다. 또한 최근의 출판물, 자주 사용되는 데이터셋, 분할 과제에 대한 평가 지표에 대해 심층적인 통계 분석을 수행한다. 마지막으로 뇌종양 분할과 관련된 개방형 연구 과제를 식별하고, 진단 정확도와 환자의 치료 결과를 향상시키기 위한 유망한 향후 연구 방향을 제안한다. 이는 더 나은 의료 전달과 인구 건강 관리를 위해 보건 의료 기술을 활용한다는 공중보건 목표와 부합한다.
IMI (Interactive Multisensory Interface) 기반의 실감 공간 서비스 개발
본 과제는 사람의 움직임과 감정에 반응하는 실감 공간을 만들어 가상 콘텐츠를 더 실제처럼 체험할 수 있게 하는 서비스 개발임. 장갑형 VR 컨트롤러와 인공지능 기술을 결합하여 사용자가 콘텐츠 속에 직접 들어간 듯한 경험을 제공하는 이동형 실감 공간 서비스 구현을 지향함.
연구 목표는 Interactive Multisensory 기술을 기반으로 재난 대응, 스포츠 체험, 헬스케어, 지자체 홍보용 실감 콘텐츠를 개발하고, 자사 장갑형 VR 컨트롤러 Air Glove와 연동된 IMI 기반 실감 공간 서비스 구현임. 핵심 연구 내용은 Multi-view 이미지 기반 사용자 아바타 생성 및 Auto-rigging, 시계열 이미지 기반 Pose 및 Action 인식, LLM 기반 한국어 대화형 UI, 음성 기반 감정인식 모델 개발과 Core Interaction Pipeline 구축임. 또한 Air Glove 엔지니어링 샘플 제작 및 절대 위치 추정 연동을 통해 콘텐츠 반영을 고도화함. 기대 효과는 이동형 실감 콘텐츠 체험관이라는 새로운 산업 패러다임 제시, B2G·B2B 시장 확산, AI 기술 실적용을 통한 서비스 경쟁력 강화 및 사회적 참여 확대임.
IMI (Interactive Multisensory Interface) 기반의 실감 공간 서비스 개발
(1) Interactive Multisensory 기술 개발(2) 재난 대응, 스포츠 체험, 헬스케어, 지자체 홍보 실감 콘텐츠 개발(3) 자사 개발 장갑형 VR 컨트롤러 : Air Glove와 실감 공간 서비스 연동 -> 자사가 제안하는 “IMI 기반의 실감 공간 서비스” (서비스명 : 멀티박스) 내에서 실감 콘텐츠를 체험할 수 있음. 체험자는 본인이 ...
상호작용이 가능한 인터페이스
다중 감각
감정 분석
실감 공간
이동형 가상 전시 공간
3
주관|
2022년 5월-2025년 2월
|57,495,000원
연합심층학습 및 연합강화학습 기반의 대규모 지능형 사물인터넷을 위한 네트워크 자원 관리 및 수렴 속도 향상 기술 개발
(1) 1차년도
▪ 연구 목표 : 자원이 제한된 이종 IoT에서 강인한 FDL/FRL을 위한 네트워크 자원 할당 기술 개발
▪ 연구 내용 :
- 산업용 디바이스들과 서버 간의 통신 패킷 손실이 존재하고, 디바이스들의 특징이 다른 이종의 IoT에서, 강인한 FDL/FRL을 구현하기 위하여 지연시간을 제한하는 FDL/FRL 프레임워크의 설계 및 개발
- non-IID 데이터가 있다고 가정하여 IoT 디바이스들의 자원들에 기반해서 클라이언트들의 우선순위를 결정하는 알고리즘, 즉, 통신지연시간 절감을 하기 위한 동적인 클라이언트 선택 기술 개발
- Robust FDL/FRL을 위하여 데이터 중요도/우선순위와 함께, 학습 정확도, 디바이스들 간의 공정성, 수렴시간 등을 모두 고려하여 네트워크 자원을 할당하는 알고리즘 개발
- 통신량, 계산량, 이종 디바이스들의 특징을 고려하여 각 라운드에서 IoT 디바이스들로부터 데이터를 샘플링하는 자원 할당 문제에 대한 연구를 수행하고 시뮬레이터를 통해서 성능 분석 및 평가
(2) 2차년도
▪ 연구 목표 : IoT의 이종 디바이스/데이터 특성을 고려한 FDL/FRL의 수렴 속도 향상 기술 개발
▪ 연구 내용 :
- 서버는 글로벌 FDL/FRL 모델을 생성하기 위해 모든 사용자의 로컬 FDL/FRL 모델을 수신할 때까지 기다려야 하므로 FDL/FRL 성능과 수렴 시간은 사용자 선택 방식에 의해 크게 영향을 받음
- 로컬 FDL/FRL 모델이 글로벌 FDL/FRL 모델에 큰 영향을 미치는 사용자를 기지국이 높은 확률로 연결하는 확률론적 사용자 선택 방식과 업링크 통신용량을 고려한 사용자 선택 방식을 제안하는 방법을 개발
- 디바이스 연결 불안정과 배터리 방전 등을 고려하는 FDL/FRL 알고리즘의 수렴 속도 향상을 위한 기술을 개발하며, 수렴까지의 라운드 수 및 라운드당 업로드된 총 데이터량을 절감하는 기술을 개발
- 공동 학습, 무선 자원 할당 및 사용자 선택 문제는 FDL/FRL 성능을 최적화하면서 FDL/FRL 수렴 시간을 최소화하는 것을 목표로 하는 최적화 문제로, 수렴 속도 향상을 위한 학습 파라미터 최적화에 의한 손실 함수 최소화 기술 개발
- 빠른 수렴은 정확성을 희생시키기 때문에 정확도와 선형 수렴 속도에 대한 관계성을 FDL/FRL 기반 IoT 관점에서 성능 분석을 수행
(3) 3차년도
▪ 연구 목표 : FDL/FRL 기반 IoT 시스템에서 로컬 계산과 무선통신에 의한 전력 소비를 절감하는 기술 개발
▪ 연구 내용 :
- 배터리로 동작하는 IoT 디바이스를 가정하여, 배터리로 동작하는 IoT 디바이스의 통신 지연 시간과 에너지 소비의 관계를 분석하고, 작동 CPU 주파수를 조정하여 배터리 수명을 연장하는 기술 개발
- FDL/FRL 기반 IoT 시스템에서 계산 리소스의 조절과 무선 대역폭에 대한 IoT 디바이스의 조절에 의해서 에너지 소모량을 최적화하는 기술 개발
- 시간 할당, 대역폭 할당, 전력 제어, 계산 주기, 학습 정확도 등의 최적화 문제 설계 : FDL/FRL 과정에서 학습 정확도 수준을 고려하면서 전송 에너지를 최소화하기 위해서 대기 시간 할당, 대역폭 할당, CPU전력 제어, 계산 주기, 학습 정확도 등을 고려한 알고리즘 연구