배경: 알츠하이머병(AD)은 전 세계 5,000만 명 이상에 영향을 미치는 가장 흔한 신경퇴행성 질환 중 하나이다. 그러나 대부분의 AD 진단은 중기에서 후기 단계에서 이루어지며, 이는 치료의 최적 시기가 이미 지나갔음을 의미한다. 경도인지장애(MCI)는 인지적으로 정상인 사람과 AD 환자 사이의 중간 단계이다. 따라서 MCI가 AD로 전환되는 과정에서의 정확한 예측은 환자가 질병의 진행을 늦추기 위한 예방적 중재를 시작할 수 있게 할 수 있다. 현재 신경영상 기술이 개발되어 AD 관련 구조적 바이오마커를 규명하는 데 활용되고 있다. 딥러닝 접근법은 바이오마커를 찾기 위해 이러한 기술에 적용되는 핵심 방법론으로 빠르게 자리 잡았다. 방법: 본 연구에서는 구조적 자기공명영상(sMRI)을 대상으로 Vision Transformers(ViT)를 활용한 MCI-AD 예측 방법을 조사하고자 하였다. MCI 대상자 598명을 포함하는 알츠하이머병 신경영상 이니셔티브(ADNI) 데이터베이스를 사용하여 MCI 대상자의 AD로의 진행을 예측하였다. 본 연구의 주요 목표는 (i) MCI의 AD 진행 분류를 위한 MRI 기반 Vision Transformers 접근법을 제안하는 것, (ii) 가장 권고되는 구조를 얻기 위해 서로 다른 ViT 아키텍처의 성능을 평가하는 것, (iii) 딥러닝 접근법이 MCI 진행 예측에 영향을 가장 많이 미치는 뇌 영역을 시각화하는 것이다. 결과: 우리의 방법은 정확도(83.27%), 특이도(85.07%), 민감도(81.48%) 측면에서 일련의 기존 방법과 비교하여 최신 수준의 분류 성능을 달성하였다. 이어서 제안된 모델의 해석 가능성을 위해 MCI 진행 예측에 가장 크게 기여하는 뇌 영역을 시각화하였다. 판별력이 있는 병리학적 위치에는 시상, 내측 전두엽, 후두엽이 포함되었으며, 이는 모델의 신뢰성을 뒷받침한다. 결론: 결론적으로, 본 연구의 방법은 MCI의 AD 전환을 예측하기 위한 효과적이고 정확한 기법을 제공한다. 본 연구에서 얻은 결과는 ADNI 수집 자료를 사용한 기존 보고들을 능가하며, sMRI 기반 ViT가 AD 환자 관리에 있어 상당한 잠재적 이점을 지니고 효율적으로 적용될 수 있음을 시사한다. 예측에 가장 크게 기여하는 뇌 영역은 확인된 해부학적 특징과 함께, 향후 다른 신경퇴행성 질환을 위한 견고한 솔루션 구축을 뒷받침할 것이다.

로보틱스 공학 및 자율주행 차량 분야에서 시각적 장소 인식(Visual Place Recognition, VPR)을 통한 정밀한 위치 추정은 시각적 오도메트리(visual odometry)로 인해 발생하는 국소화(localization) 오류를 줄이는 데뿐만 아니라, 낯선 환경에서의 모호한 지도(ambiguous maps) 생성 자체를 방지하는 데에도 결정적으로 중요하다. 조명(illumination) 변화, 가림(occlusions), 동적 객체(dynamic objects)와 같은 도전 과제를 다루어 VPR 성능을 향상시키려는 수많은 연구가 진행되어 왔음에도 불구하고, 최근의 접근법은 주로 모델 기반(model-based) 방법에 초점을 맞추고 있으며 데이터 증강(Data Augmentation, DA) 방법에 대해서는 상대적으로 제한된 관심만이 기울여져 있다. 따라서 DA가 VPR의 일반화 능력(generalization ability)에 미치는 영향을 조사할 필요가 있다. 이를 달성하기 위해, 본 연구는 VPR 학습 접근법을 비교하고, 종합적인 실증 분석을 수행하며, 핵심적인 통찰을 제시한다. 본 연구의 결과는 향후 VPR 시스템 설계를 위한 유용한 지침을 제공함과 동시에 컴퓨터 비전 및 로보틱스 연구의 발전에 기여할 수 있다.

배경: 알츠하이머병(AD)은 전 세계 5,000만 명 이상에 영향을 미치는 가장 흔한 신경퇴행성 질환 중 하나이다. 그러나 대부분의 AD 진단은 중기에서 후기 단계에서 이루어지며, 이는 치료의 최적 시기가 이미 지나갔음을 의미한다. 경도인지장애(MCI)는 인지적으로 정상인 사람과 AD 환자 사이의 중간 단계이다. 따라서 MCI가 AD로 전환되는 과정에서의 정확한 예측은 환자가 질병의 진행을 늦추기 위한 예방적 중재를 시작할 수 있게 할 수 있다. 현재 신경영상 기술이 개발되어 AD 관련 구조적 바이오마커를 규명하는 데 활용되고 있다. 딥러닝 접근법은 바이오마커를 찾기 위해 이러한 기술에 적용되는 핵심 방법론으로 빠르게 자리 잡았다. 방법: 본 연구에서는 구조적 자기공명영상(sMRI)을 대상으로 Vision Transformers(ViT)를 활용한 MCI-AD 예측 방법을 조사하고자 하였다. MCI 대상자 598명을 포함하는 알츠하이머병 신경영상 이니셔티브(ADNI) 데이터베이스를 사용하여 MCI 대상자의 AD로의 진행을 예측하였다. 본 연구의 주요 목표는 (i) MCI의 AD 진행 분류를 위한 MRI 기반 Vision Transformers 접근법을 제안하는 것, (ii) 가장 권고되는 구조를 얻기 위해 서로 다른 ViT 아키텍처의 성능을 평가하는 것, (iii) 딥러닝 접근법이 MCI 진행 예측에 영향을 가장 많이 미치는 뇌 영역을 시각화하는 것이다. 결과: 우리의 방법은 정확도(83.27%), 특이도(85.07%), 민감도(81.48%) 측면에서 일련의 기존 방법과 비교하여 최신 수준의 분류 성능을 달성하였다. 이어서 제안된 모델의 해석 가능성을 위해 MCI 진행 예측에 가장 크게 기여하는 뇌 영역을 시각화하였다. 판별력이 있는 병리학적 위치에는 시상, 내측 전두엽, 후두엽이 포함되었으며, 이는 모델의 신뢰성을 뒷받침한다. 결론: 결론적으로, 본 연구의 방법은 MCI의 AD 전환을 예측하기 위한 효과적이고 정확한 기법을 제공한다. 본 연구에서 얻은 결과는 ADNI 수집 자료를 사용한 기존 보고들을 능가하며, sMRI 기반 ViT가 AD 환자 관리에 있어 상당한 잠재적 이점을 지니고 효율적으로 적용될 수 있음을 시사한다. 예측에 가장 크게 기여하는 뇌 영역은 확인된 해부학적 특징과 함께, 향후 다른 신경퇴행성 질환을 위한 견고한 솔루션 구축을 뒷받침할 것이다.

로보틱스 공학 및 자율주행 차량 분야에서 시각적 장소 인식(Visual Place Recognition, VPR)을 통한 정밀한 위치 추정은 시각적 오도메트리(visual odometry)로 인해 발생하는 국소화(localization) 오류를 줄이는 데뿐만 아니라, 낯선 환경에서의 모호한 지도(ambiguous maps) 생성 자체를 방지하는 데에도 결정적으로 중요하다. 조명(illumination) 변화, 가림(occlusions), 동적 객체(dynamic objects)와 같은 도전 과제를 다루어 VPR 성능을 향상시키려는 수많은 연구가 진행되어 왔음에도 불구하고, 최근의 접근법은 주로 모델 기반(model-based) 방법에 초점을 맞추고 있으며 데이터 증강(Data Augmentation, DA) 방법에 대해서는 상대적으로 제한된 관심만이 기울여져 있다. 따라서 DA가 VPR의 일반화 능력(generalization ability)에 미치는 영향을 조사할 필요가 있다. 이를 달성하기 위해, 본 연구는 VPR 학습 접근법을 비교하고, 종합적인 실증 분석을 수행하며, 핵심적인 통찰을 제시한다. 본 연구의 결과는 향후 VPR 시스템 설계를 위한 유용한 지침을 제공함과 동시에 컴퓨터 비전 및 로보틱스 연구의 발전에 기여할 수 있다.

3차원 기하와 카메라 운동을 정확하게 추정하면 로보틱스와 자율주행차량에서 다양한 작업을 수행할 수 있다. 그러나 의미(semantics)의 부재와 동적 객체로 인한 성능 저하는 실제 환경에서의 적용을 저해한다. 이러한 한계를 극복하기 위해, 우리는 동시적 VO(visual odometry), 객체 탐지 및 인스턴스 분할(SimVODIS) 네트워크 위에 새로운 신경 의미 시각 오도메트리(VO) 아키텍처를 설계한다. 다음으로, 동적 객체를 처리하고 VO 성능을 향상시키기 위한 다중 과제 학습(multi-task learning) 형태의 주의(attentive) 기반 자세 추정 아키텍처를 제안한다. 본 연구에서 수행한 광범위한 실험 결과는 제안된 SimVODIS++가 동적 환경에서 VO 성능을 향상시킨다는 점을 입증한다. 또한 SimVODIS++는 특징이 없는 영역(feature-less regions)을 제외하면서 두드러진(salient) 영역에 초점을 맞춘다. 실험을 수행하는 과정에서, 선행 다수의 연구들이 따랐던 기존의 실험 설정에서 발생하던 데이터 누출(data leakage) 문제를 발견하고 이를 수정하였다—이를 본 연구의 기여 중 하나로 주장한다. 우리는 소스 코드를 공개한다.

텍스트-목표 인스턴스 내비게이션(Text-goal instance navigation, TGIN)은 에이전트에게 단일한 자유형 설명을 하나의 행동으로 해결하여, 동일 범주의 방해 인스턴스들 사이에서 올바른 객체 인스턴스에 도달하도록 요구한다. 본 연구에서는 로컬 매칭 단서로부터 전역 탐색의 우선순위를 부여하고 3D 공간 추론을 통해 후보를 검증하는 extit{Context-Nav}를 제안한다. 첫째, 전체 설명에 부합하는 영역으로 탐색을 유도하되 초기 탐지에 머무르지 않도록, 프런티어를 순위화하는 값 맵(value map)에 대해 밀집된 텍스트-이미지 정렬을 계산한다. 둘째, 후보를 관찰한 뒤에는 관점 인식 관계 검사를 수행한다. 에이전트가 그럴듯한 관찰자 자세를 샘플링하고 로컬 프레임을 정렬한 후, 공간적 관계가 적어도 하나의 관점에서 만족될 수 있을 때에만 목표를 수용한다. 이 파이프라인은 과제 특화 훈련이나 미세조정(fine-tuning)을 필요로 하지 않으며, InstanceNav 및 CoIN-Bench에서 최첨단 성능을 달성한다. 제거 실험(ablation) 결과는 (i) 전체 캡션을 값 맵에 인코딩하면 불필요한 이동을 방지할 수 있고, (ii) 명시적 관점 인식 3D 검증이 의미적으로는 그럴듯하지만 잘못된 정지를 막는다는 것을 보여준다. 이는 기하 기반의 공간 추론이 혼잡한 3D 장면에서 세부 인스턴스 구분을 위한 무거운 정책 학습이나 사람-고리(human-in-the-loop) 상호작용에 대한 확장 가능한 대안임을 시사한다.

현재의 3D 장면 그래프 생성(3DSGG) 접근법은 단일 에이전트 가정과 소규모 환경에 크게 의존하고 있어 실제 환경으로의 확장성이 제한적이다. 본 연구에서는 다중 에이전트를 사용하여 이러한 확장성 문제를 해결하도록 설계된 최초의 프레임워크인 Multi-Agent 3D Scene Graph Generation(MA3DSG) 모델을 제안한다. 우리는 학습 없이(graph alignment) 수행되는 그래프 정렬 알고리즘을 개발하여, 각 에이전트가 생성한 부분 질의 그래프를 효율적으로 결합함으로써 하나의 통합된 전역 장면 그래프로 병합한다. 방대한 분석과 경험적 통찰을 활용한 본 접근법은 학습 가능한 매개변수를 필요로 하지 않으면서도 기존의 단일 에이전트 시스템이 협업적으로 작동할 수 있도록 한다. 3DSGG 성능을 엄밀히 평가하기 위해, MA3DSG-Bench-a 벤치마크를 제안하며, 이는 다양한 에이전트 구성, 도메인 규모, 환경 조건을 지원함으로써 보다 일반적이고 확장 가능한 평가 프레임워크를 제공한다. 본 연구는 확장 가능한 멀티 에이전트 3DSGG 연구를 위한 탄탄한 기반을 마련한다.

현재의 3D 장면 그래프 생성(3DSGG) 접근법은 단일 에이전트 가정과 소규모 환경에 크게 의존하고 있어 실제 세계 시나리오로의 확장성이 제한적이다. 본 연구에서는 다중 에이전트를 활용하여 이러한 확장성 문제를 해결하도록 설계된 최초의 프레임워크인 Multi-Agent 3D Scene Graph Generation(MA3DSG) 모델을 제안한다. 우리는 학습이 필요 없는 그래프 정렬(graph alignment) 알고리즘을 개발하여, 각 에이전트로부터 생성된 부분 질의 그래프를 효율적으로 병합해 하나의 통합된 전역 장면 그래프(global scene graph)로 구성한다. 광범위한 분석과 경험적 통찰을 바탕으로, 본 접근법은 어떠한 학습 가능한 매개변수도 요구하지 않으면서 기존의 단일 에이전트 시스템이 협력적으로 동작할 수 있도록 해준다. 3DSGG 성능을 엄밀하게 평가하기 위해, MA3DSG-Bench-a 벤치마크를 제안하며, 이는 다양한 에이전트 구성, 도메인 규모, 환경 조건을 지원함으로써 보다 일반적이고 확장 가능한 평가 프레임워크를 제공한다. 본 연구는 확장 가능한 다중 에이전트 3DSGG 연구를 위한 탄탄한 기반을 마련한다.

텍스트-목표 인스턴스 내비게이션(Text-goal instance navigation, TGIN)은 에이전트에게 동일 범주의 교란 요인들(same-category distractors) 중에서 정답 객체 인스턴스에 도달하도록, 하나의 자유 형식 설명을 일련의 행동으로 해석할 것을 요구한다. 우리는 extit{Context-Nav}를 제안하며, 이는 길고 맥락이 포함된 캡션을 로컬 매칭 단서로부터 전역 탐색 우선순위로 끌어올리고 3D 공간 추론으로 후보를 검증한다. 첫째, 우리는 값 맵(value map)에 대해 조밀한 텍스트-이미지 정렬(dense text-image alignments)을 계산하여 프론티어(frontier)를 순위화하고, 초기 탐지에만 부합하는 영역이 아니라 전체 설명과 일치하는 영역으로 탐색을 유도한다. 둘째, 후보를 관찰한 뒤에는 시점(viewpoint)을 인식하는 관계 검증을 수행한다. 에이전트는 그럴듯한 관찰자 자세(observer poses)를 샘플링하고 로컬 좌표계를 정렬한 다음, 최소한 하나의 시점에서 공간적 관계를 만족시킬 수 있는 경우에만 목표를 수용한다. 이 파이프라인은 과제에 특화된 학습이나 파인튜닝을 필요로 하지 않으며, InstanceNav와 CoIN-Bench에서 최첨단 성능을 달성한다. 절제 실험(ablation) 결과는 (i) 전체 캡션을 값 맵에 인코딩하면 불필요한 이동을 방지하고, (ii) 명시적이며 시점-인식적인 3D 검증이 의미적으로 그럴듯하지만 잘못된 정지(Stops)를 막는다는 것을 보여준다. 이는, 기하(geometry)에 기반한 공간적 추론이 복잡한 정책 학습이나 인간-고리(human-in-the-loop) 상호작용 없이도 혼잡한 3D 장면에서 세부 인스턴스 모호성 해소를 위한 확장 가능한 대안이 될 수 있음을 시사한다.