휴지상태 기능적 자기공명영상(rs-fMRI)은 내재적 신경 활동을 측정하며, 그 주파수 영역 특성을 분석하면 뇌 역학에 대한 통찰을 제공한다. 이러한 특성들로 인해 rs-fMRI는 자폐 스펙트럼 장애(ASD)와 주의력결핍 과잉행동장애(ADHD)와 같은 뇌 질환을 규명하기 위해 널리 사용된다. 전통적인 주파수 영역 분석은 대체로 푸리에 변환에 의존하는데, 이는 고정된 해상도로 인해 비정상(non-stationary) 신경 신호를 포착하는 데 유연성이 부족하다. 또한 이러한 방법들은 복소수 스펙트럼 표현으로부터 도출되는 크기나 위상과 같은 실수값 특징만을 주로 활용한다. 그 결과, 특히 fMRI 분석에서 실수부와 허수부를 직접 모델링하는 작업은 여전히 충분히 탐구되지 않았으며, 이들 성분에 부호화된 구별되면서도 상보적인 스펙트럴 정보를 간과하고 있다. 이러한 한계를 해결하기 위해, 우리는 rs-fMRI 신호로부터 연속 웨이블릿 변환(CWT) 계수의 실수부와 허수부를 명시적으로 모델링하는 새로운 Transformer 기반 프레임워크를 제안한다. 우리의 아키텍처는 자기- 및 교차-어텐션 메커니즘을 사용하여 구성요소 간의 관계뿐 아니라 구성요소 내부(intra-component)의 관계까지 함께 포착하도록, 스펙트럴, 시간적, 공간적 주의(attention) 모듈을 통합한다. Autism Brain Imaging Data Exchange(ABIDE)-I 및 ADHD-200 데이터셋에 적용한 결과, 본 접근은 기존 기준 방법(baselines) 대비 최첨단 분류 성능을 달성하였다. 포괄적인 절제(ablation) 연구는 기존 주파수 영역 특징에 비해 실수부와 허수부를 직접 활용하는 이점을 보여주었으며, 각 모듈의 기여도를 검증하였다. 또한 어텐션 기반 분석은 ASD와 ADHD에서 알려진 신경생물학적 변화와 일치하는 주파수- 및 영역-특이적 패턴을 드러냈다. 이러한 결과는 CWT 기반 표현에서 실수부와 허수부를 보존하고 이를 함께 활용하는 것이 진단 성능을 향상시킬 뿐 아니라 신경발달성 장애에 대한 해석 가능한 통찰을 제공함을 시사한다.

의료 영상 분석(Medical image analysis, MedIA)은 의학 및 보건의 필수 도구가 되었으며, 질병 진단, 예후, 치료 계획에 도움을 주고, 최근 심층학습(Deep learning, DL)의 성과는 이러한 발전에 상당한 기여를 해 왔다. 그러나 실제 상황에서 MedIA를 위해 DL 모델을 배치하는 일은 훈련 샘플과 테스트 샘플 간의 분포적 불일치로 인해 일반화에 실패하는 문제, 즉 도메인 시프트(domain shift) 때문에 여전히 어렵다. 연구자들은 알려지지 않았거나 분포 밖(out-of-distribution, OOD) 데이터 분포에서도 적응하고 견고하게 수행하기 위한 다양한 DL 방법을 개발하는 데 노력을 기울여 왔다. 본 글은 MedIA에 특화된 도메인 일반화(domain generalization, DG) 연구를 종합적으로 검토한다. 우리는 DG 기법들이 더 넓은 MedIA 시스템 안에서 어떻게 상호작용하는지를 전체적으로 조망하며, 방법론을 넘어 MedIA 워크플로 전반에 대한 운영적 함의까지 고려한다. 구체적으로, 우리는 DG 방법을 데이터 수준, 특징 수준, 모델 수준, 분석 수준 방법으로 분류한다. 또한 이러한 방법들이 데이터 획득부터 모델 예측 및 분석에 이르기까지, MedIA 워크플로의 다양한 단계에서 어떻게 활용될 수 있는지를 보여준다. 아울러 여러 방법의 강점과 약점을 비판적으로 분석하여 향후 연구의 기회를 드러낸다.

비유클리드(non-euclidean) 데이터를 모델링하는 일은 다양한 분야에서 딥 뉴럴 네트워크의 전례 없는 성공과 함께 광범위한 주목을 받고 있다. 특히, 대칭 양의 정부호(symmetric positive definite) 행렬은 유익한 통계적 표현을 학습할 수 있다는 점 때문에 컴퓨터 비전, 신호 처리, 의학 영상 분석 분야에서 활발히 연구되고 있다. 그러나 그와 같은 강성 제약(rigid constraints)으로 인해 최적화 문제를 해결하기 어렵고 계산 비용이 비효율적인 상태로 남아 있으며, 특히 이를 딥러닝 프레임워크와 결합할 때 이러한 문제가 더욱 두드러진다. 본 논문에서는 리만 다양체(Riemannian manifolds) 사이의 미분동형사상(diffeomorphism) 매핑을 촐레스키(Cholesky) 공간에 활용하는 프레임워크를 제안한다. 이를 통해 최적화 문제를 효율적으로 해결할 수 있을 뿐 아니라 계산 비용을 크게 절감할 수 있게 된다. 나아가 시계열 데이터의 동적(dynamic) 모델링을 위해, 다양체 보통미분방정식(manifold ordinary differential equation)과 게이티드 순환 신경망(gated recurrent neural network)을 체계적으로 통합하여 연속적 연속체 학습(continuous manifold learning) 방법을 고안한다. 촐레스키 공간에서 행렬의 매개변수화(parameterization)가 우수하기 때문에, 리만 기하학적(rieamnnian geometric) 메트릭을 장착한 본 제안 네트워크의 학습은 손쉽게 수행될 수 있음을 주목할 만하다. 우리는 규칙적 및 비규칙적 시계열 데이터셋에 대한 실험을 통해, 본 모델이 다양한 시계열 과제에서 기존의 다양체 방법 및 최신(state-of-the-art) 방법을 능가하면서 효율적이고 신뢰성 있게 학습될 수 있음을 보여준다.

질병 진단 모델에 관한 기존 연구는 성능 향상을 위한 진단 모델 학습 또는 학습된 진단 모델의 시각적 설명에 초점을 맞추어 왔다. 우리는 시각적 설명을 지도 신호로 하여 진단 모델 학습, 시각적 설명 생성(설명 유닛), 그리고 학습된 진단 모델 강화(강화 유닛)를 통합하는 새로운 학습-설명-강화(LEAR, learn-explain-reinforce) 프레임워크를 제안한다. 시각적 설명을 위해, 입력 샘플을 의도된 목표 라벨로 식별되도록 변환하는 반사실적(counterfactual) 맵을 생성한다. 예를 들어, 반사실적 맵은 정상 뇌 영상 내에서 알츠하이머병(AD)으로 진단되게 할 수 있는 가상의 이상 소견을 국소화할 수 있다. 우리는 생성된 반사실적 맵이 표적 과제, 즉 구조적 MRI를 사용한 AD 진단에 대한 데이터 기반 지식을 나타내며, 이는 학습된 진단 모델의 일반화를 강화하는 데 중요한 정보원이 될 수 있다고 믿는다. 이를 위해 우리는 반사실적 맵의 지도를 바탕으로 하는 주의(attention) 기반 특징 정제 모듈을 설계한다. 설명 유닛과 강화 유닛은 상호적이며 반복적으로 작동될 수 있다. 제안한 접근법은 ADNI 데이터셋에서 정성적 및 정량적 분석을 통해 검증되었다. 또한 소거(ablation) 연구와 기존 방법들과의 비교를 통해 그 이해가능성과 충실도가 입증되었다.

휴지상태 기능적 자기공명영상(rs-fMRI)은 내재적 신경 활동을 측정하며, 그 주파수 영역 특성을 분석하면 뇌 역학에 대한 통찰을 제공한다. 이러한 특성들로 인해 rs-fMRI는 자폐 스펙트럼 장애(ASD)와 주의력결핍 과잉행동장애(ADHD)와 같은 뇌 질환을 규명하기 위해 널리 사용된다. 전통적인 주파수 영역 분석은 대체로 푸리에 변환에 의존하는데, 이는 고정된 해상도로 인해 비정상(non-stationary) 신경 신호를 포착하는 데 유연성이 부족하다. 또한 이러한 방법들은 복소수 스펙트럼 표현으로부터 도출되는 크기나 위상과 같은 실수값 특징만을 주로 활용한다. 그 결과, 특히 fMRI 분석에서 실수부와 허수부를 직접 모델링하는 작업은 여전히 충분히 탐구되지 않았으며, 이들 성분에 부호화된 구별되면서도 상보적인 스펙트럴 정보를 간과하고 있다. 이러한 한계를 해결하기 위해, 우리는 rs-fMRI 신호로부터 연속 웨이블릿 변환(CWT) 계수의 실수부와 허수부를 명시적으로 모델링하는 새로운 Transformer 기반 프레임워크를 제안한다. 우리의 아키텍처는 자기- 및 교차-어텐션 메커니즘을 사용하여 구성요소 간의 관계뿐 아니라 구성요소 내부(intra-component)의 관계까지 함께 포착하도록, 스펙트럴, 시간적, 공간적 주의(attention) 모듈을 통합한다. Autism Brain Imaging Data Exchange(ABIDE)-I 및 ADHD-200 데이터셋에 적용한 결과, 본 접근은 기존 기준 방법(baselines) 대비 최첨단 분류 성능을 달성하였다. 포괄적인 절제(ablation) 연구는 기존 주파수 영역 특징에 비해 실수부와 허수부를 직접 활용하는 이점을 보여주었으며, 각 모듈의 기여도를 검증하였다. 또한 어텐션 기반 분석은 ASD와 ADHD에서 알려진 신경생물학적 변화와 일치하는 주파수- 및 영역-특이적 패턴을 드러냈다. 이러한 결과는 CWT 기반 표현에서 실수부와 허수부를 보존하고 이를 함께 활용하는 것이 진단 성능을 향상시킬 뿐 아니라 신경발달성 장애에 대한 해석 가능한 통찰을 제공함을 시사한다.

의료 영상 분석(Medical image analysis, MedIA)은 의학 및 보건의 필수 도구가 되었으며, 질병 진단, 예후, 치료 계획에 도움을 주고, 최근 심층학습(Deep learning, DL)의 성과는 이러한 발전에 상당한 기여를 해 왔다. 그러나 실제 상황에서 MedIA를 위해 DL 모델을 배치하는 일은 훈련 샘플과 테스트 샘플 간의 분포적 불일치로 인해 일반화에 실패하는 문제, 즉 도메인 시프트(domain shift) 때문에 여전히 어렵다. 연구자들은 알려지지 않았거나 분포 밖(out-of-distribution, OOD) 데이터 분포에서도 적응하고 견고하게 수행하기 위한 다양한 DL 방법을 개발하는 데 노력을 기울여 왔다. 본 글은 MedIA에 특화된 도메인 일반화(domain generalization, DG) 연구를 종합적으로 검토한다. 우리는 DG 기법들이 더 넓은 MedIA 시스템 안에서 어떻게 상호작용하는지를 전체적으로 조망하며, 방법론을 넘어 MedIA 워크플로 전반에 대한 운영적 함의까지 고려한다. 구체적으로, 우리는 DG 방법을 데이터 수준, 특징 수준, 모델 수준, 분석 수준 방법으로 분류한다. 또한 이러한 방법들이 데이터 획득부터 모델 예측 및 분석에 이르기까지, MedIA 워크플로의 다양한 단계에서 어떻게 활용될 수 있는지를 보여준다. 아울러 여러 방법의 강점과 약점을 비판적으로 분석하여 향후 연구의 기회를 드러낸다.

비유클리드(non-euclidean) 데이터를 모델링하는 일은 다양한 분야에서 딥 뉴럴 네트워크의 전례 없는 성공과 함께 광범위한 주목을 받고 있다. 특히, 대칭 양의 정부호(symmetric positive definite) 행렬은 유익한 통계적 표현을 학습할 수 있다는 점 때문에 컴퓨터 비전, 신호 처리, 의학 영상 분석 분야에서 활발히 연구되고 있다. 그러나 그와 같은 강성 제약(rigid constraints)으로 인해 최적화 문제를 해결하기 어렵고 계산 비용이 비효율적인 상태로 남아 있으며, 특히 이를 딥러닝 프레임워크와 결합할 때 이러한 문제가 더욱 두드러진다. 본 논문에서는 리만 다양체(Riemannian manifolds) 사이의 미분동형사상(diffeomorphism) 매핑을 촐레스키(Cholesky) 공간에 활용하는 프레임워크를 제안한다. 이를 통해 최적화 문제를 효율적으로 해결할 수 있을 뿐 아니라 계산 비용을 크게 절감할 수 있게 된다. 나아가 시계열 데이터의 동적(dynamic) 모델링을 위해, 다양체 보통미분방정식(manifold ordinary differential equation)과 게이티드 순환 신경망(gated recurrent neural network)을 체계적으로 통합하여 연속적 연속체 학습(continuous manifold learning) 방법을 고안한다. 촐레스키 공간에서 행렬의 매개변수화(parameterization)가 우수하기 때문에, 리만 기하학적(rieamnnian geometric) 메트릭을 장착한 본 제안 네트워크의 학습은 손쉽게 수행될 수 있음을 주목할 만하다. 우리는 규칙적 및 비규칙적 시계열 데이터셋에 대한 실험을 통해, 본 모델이 다양한 시계열 과제에서 기존의 다양체 방법 및 최신(state-of-the-art) 방법을 능가하면서 효율적이고 신뢰성 있게 학습될 수 있음을 보여준다.

질병 진단 모델에 관한 기존 연구는 성능 향상을 위한 진단 모델 학습 또는 학습된 진단 모델의 시각적 설명에 초점을 맞추어 왔다. 우리는 시각적 설명을 지도 신호로 하여 진단 모델 학습, 시각적 설명 생성(설명 유닛), 그리고 학습된 진단 모델 강화(강화 유닛)를 통합하는 새로운 학습-설명-강화(LEAR, learn-explain-reinforce) 프레임워크를 제안한다. 시각적 설명을 위해, 입력 샘플을 의도된 목표 라벨로 식별되도록 변환하는 반사실적(counterfactual) 맵을 생성한다. 예를 들어, 반사실적 맵은 정상 뇌 영상 내에서 알츠하이머병(AD)으로 진단되게 할 수 있는 가상의 이상 소견을 국소화할 수 있다. 우리는 생성된 반사실적 맵이 표적 과제, 즉 구조적 MRI를 사용한 AD 진단에 대한 데이터 기반 지식을 나타내며, 이는 학습된 진단 모델의 일반화를 강화하는 데 중요한 정보원이 될 수 있다고 믿는다. 이를 위해 우리는 반사실적 맵의 지도를 바탕으로 하는 주의(attention) 기반 특징 정제 모듈을 설계한다. 설명 유닛과 강화 유닛은 상호적이며 반복적으로 작동될 수 있다. 제안한 접근법은 ADNI 데이터셋에서 정성적 및 정량적 분석을 통해 검증되었다. 또한 소거(ablation) 연구와 기존 방법들과의 비교를 통해 그 이해가능성과 충실도가 입증되었다.

수면 단계(sleep staging)는 수면 평가에 필수적이며, 건강 지표로서 중요한 역할을 한다. 최근 많은 연구에서 수면 단계 판정을 위한 다양한 기계학습/딥러닝 방법이 제안되었다. 그러나 그러한 방법의 실제 활용을 저해하는 두 가지 핵심 과제가 존재한다. 첫째, 수면 신호에서 핵심적인 파형(salient waveforms)을 효과적으로 포착하는 문제이고, 둘째, 전이되는(epoch transitioning) 구간에서 혼동되는 단계들을 올바르게 분류하는 문제이다. 본 연구에서는 고유한 국소 시간 패턴을 포착하고 두 개의 보조 과제를 통해 혼동되는 단계들을 구분하는 새로운 딥 신경망 구조인 TransSleep을 제안한다. 구체적으로, TransSleep은 주의(attention) 기반 다중 스케일 특성 추출기를 통해 수면 신호의 핵심 파형을 포착하고, 두 개의 보조 과제를 통해 문맥적 관계(contextual relationships)를 모델링함과 동시에 전이 구간에서 혼동되는 단계들을 정확히 분류한다. 결과에 따르면 TransSleep은 자동 수면 단계 판정에서 유망한 성능을 달성하였다. TransSleep의 타당성은 두 개의 공개 데이터셋인 1) Sleep-EDF 및 2) MASS에서의 최신(state-of-the-art) 성능을 통해 입증되었다. 또한 우리는 서로 다른 관점에서 본 연구 결과를 분석하기 위해 제거(ablations) 실험을 수행하였다. 종합적인 결과에 근거하여, TransSleep이 딥러닝 기반 수면 단계 판정에 새로운 통찰을 제공할 수 있는 막대한 잠재력을 지닌다고 판단한다.

전 세계적으로 인구가 고령화됨에 따라, 알츠하이머병(Alzheimer's disease, AD)의 초기 단계에서의 정확한 컴퓨터 보조 진단은 최근 신경퇴행성 돌봄을 위한 핵심 단계로 간주되어 왔다. 신경영상 데이터로부터 저수준 특징을 추출하기 때문에, 기존의 방법들은 잠재적인 특징 단위 관계를 무시한 분류 문제로서 이러한 컴퓨터 보조 진단을 바라보았다. 그러나 현재의 신경과학 관점에서 사람의 뇌는 여러 뇌 영역이 해부학적 및 기능적으로 상호 연계되어 있음이 알려져 있다. 따라서 서로 다른 뇌 영역에서 추출된 특징들은 어느 정도 상호 관련되어 있다고 가정하는 것이 타당하다. 또한, 서로 다른 신경영상 양식(modality) 간의 상보적 정보는 다중양식 융합(multimodal fusion)에 이점을 제공할 수 있다. 이를 위해 본 논문에서는 특징 수준과 양식 수준에서의 결합된 상호작용을 활용하여 진단을 수행하는 방안을 고려하였다. 먼저 결합된 특징 표현(coupled feature representation)을 통해 특징 수준에서의 결합 상호작용을 포착하는 방법을 제안한다. 다음으로 양식 수준에서의 결합 상호작용을 모델링하기 위해 두 가지의 새로운 방법을 제시한다: 1) 결합 부스팅(coupled boosting, CB)으로, 서로 다른 양식 간에서 일치하지 않게 그리고 부정확하게 분류된 샘플들에 대한 쌍별 결합-다양성(pairwise coupled-diversity)의 상관관계를 모델링하며, 2) 결합 메트릭 앙상블(coupled metric ensemble, CME)로서, 훈련 샘플의 내관계(intra-relation)와 간관계(inter-relation)를 통합하여 서로 다른 양식으로부터 유익한 특징 투영(feature projection)을 학습한다. 우리는 AD 신경영상 이니셔티브(AD neuroimaging initiative) 데이터 세트로 본 방법들을 체계적으로 평가하였다. AD/경도인지장애(mild cognitive impairment, MCI) 진단을 위해 특별히 개발된 기존의 학습 기반 기준 방법들과 최신 기법들과 비교했을 때, 본 방법들은 AD/NC(정상 대조군)에서 정확도 95.0% 및 80.7%(CB), 94.9% 및 79.9%(CME), 그리고 MCI/NC 식별에서 각각 최상의 성능을 달성하였다.