언어 임베딩을 결합한 오픈 보컬러블 Gaussian SLAM 연구

Open-Vocabulary Language-Embedded Gaussian Splatting SLAM

연구 내용

언어 특징을 3D Gaussian 맵에 통합하여 실시간으로 오픈 보컬러블 의미 매핑을 수행하는 Gaussian SLAM 연구

본 분야는 3D Gaussian Splatting 기반 SLAM의 고해상도 재구성 능력에 언어 기반 의미 정보를 결합하는 데 초점을 둡니다. 고차원 언어 임베딩을 가우시안당 고정된 고차원 특징으로 직접 저장하면 메모리와 렌더링 비용이 증가하므로, 씬 적응형 인코더-디코더를 통해 의미 특징을 컴팩트한 차원으로 압축합니다. 또한 실시간 제약 하에서 언어-기하 간 불일치를 줄이기 위한 다기준 맵 관리로 의미 중복 가우시안을 pruning하여 맵 크기를 제어합니다. 루프 검출에서도 별도 검출 모델 없이 맵 특징을 재사용하여 온라인 환경에서의 적응성을 확보합니다. 결과적으로 로봇과의 상호작용을 위한 오픈 보컬러블 3D 의미 지도를 지향합니다.

관련 프로젝트

3건

연구 흐름

초기 연구는 3D Gaussian Splatting 맵이 제공하는 광학적 정밀도에 비해, 언어 기반 의미 이해가 부재하다는 문제를 식별하면서 시작되었습니다. 이후 고차원 언어 특징을 SLAM 내부에 저장하는 데 따른 메모리·렌더링 병목을 완화하기 위해 씬 적응형 인코더-디코더 구조로 특징을 압축하는 방향으로 연구를 수행했습니다. 다음으로 온라인 맵 업데이트 과정에서 의미-기하 불일치 및 중복을 관리하기 위해 언어 기반 pruning과 루프 검출을 맵 특징에 연결하는 설계를 적용했습니다. 최근에는 RGB-D 입력에서 언어 정렬된 밀집 특징 필드를 실시간으로 유지하기 위한 Top-K 렌더링과 하이브리드 최적화 체계를 구성하여 기하 충실도와 의미 충실도를 동시에 평가하고 있습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

오픈 보컬러블 의미 매핑
언어-정렬 3D 특징 필드
실시간 언어 기반 로봇 상호작용
언어 유도 루프 검출
의미 중복 제거 기반 맵 압축
가우시안 프리미티브 기반 의미 지도
세맨틱-기하 정합성 제어
온더플라이 씬 적응형 인코딩
장면별 실시간 언어 추론
언어 기반 로봇 내비게이션 지원