Multimodal Deep Learning for Elderly Neurological Disease Screening
연구 내용
신경학적 검사 영상과 음성에서 운동·행동 지표를 추출해 멀티모달로 질환 가능성을 추정하는 스크리닝 연구
신경학적 검사 영상을 딥러닝 기반 랜드마크 추출기로 전환한 뒤, 시간적 특징을 재현하기 위해 recurrence plot 형태로 변환하고 CNN 기반 분류로 뇌졸증 가능성을 추정합니다. 또한 멀티모달 스크리닝 시스템에서 프로토콜별 랜드마크와 음성 데이터를 각각 전처리하여 특징을 추출하고, 그래프 뉴럴 네트워크로 랜드마크의 시공간 특성을 학습하며 time-delay 신경망으로 음성 특징을 반영합니다. 이후 특징 어그리게이터와 멀티태스크 학습으로 여러 질환을 동시에 선별하며, 데이터 증강과 프레임 길이 고정화로 미세 떨림을 보존하는 접근을 적용합니다.
관련 연구 성과
관련 논문
2편
관련 특허
0건
관련 프로젝트
1건
연구 흐름
2010년대 후반부터 영상 기반 신경학적 관찰의 가능성을 전제로, 2022년에는 신경학적 검사 영상에서 골격·행동 정보를 추출해 recurrence plot을 구성하고 딥러닝으로 뇌졸증 선별 정확도를 높이는 연구를 수행했습니다. 이어 2023년에는 영상 랜드마크뿐 아니라 음성 모달리티를 함께 사용하고, 프로토콜별 서브네트워크와 특징 어그리게이터를 구성하여 뇌졸증과 파킨슨병을 동시 스크리닝하는 구조로 확장했습니다. 2020년대 초반부터는 이를 키오스크 형태 모니터링 시스템으로 연결하기 위한 사업형 과제를 수행하며, 검사 프로토콜과 출력 설계의 실사용성을 점검했습니다.
활용 가능성
활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.
관련 논문
구분
제목
Deep-Learning-Based Stroke Screening Using Skeleton Data from Neurological Examination Videos
A multimodal screening system for elderly neurological diseases based on deep learning
관련 프로젝트
구분
제목
(주관)노인성 신경질환 모니터링을 위한 다중영상 기반 키오스크 시스템