신경 복사(Neural Radiance Fields, NeRF)와 3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)의 등장은 새로운 관점 합성(Novel View Synthesis, NVS)을 진전시켰다. 그러나 이러한 방법들은 고품질 RGB 입력과 정확한 대응 포즈를 필요로 하므로, 빠른 카메라 운동이나 불리한 조명과 같은 실제 환경 조건에서는 강건성이 제한된다. 각 픽셀에서 밝기 변화를 높은 시간 해상도와 넓은 동적 범위로 포착하는 이벤트 카메라는, 역동적인 장면을 정밀하게 감지할 수 있게 해 주며 유망한 해결책을 제공한다. 하지만 기존의 이벤트 기반 NVS 방법들은 알려진 포즈를 가정하거나, 초기 관측에 의해 제약되는 깊이 추정 모델에 의존하여 카메라가 이전에 보지 못한 영역을 통과할 때 일반화하지 못한다. 본 연구에서는 이벤트 스트림만을 사용하여 포즈 없이(free) 동작하는 프레임워크 E2EGS를 제시한다. 우리의 핵심 통찰은 가장자리(edge) 정보가 정확한 궤적 추정과 고품질 NVS에 필수적인 풍부한 구조적 단서를 제공한다는 점이다. 잡음이 섞인 이벤트 스트림에서 가장자리를 추출하기 위해, 가장자리와 비-가장자리 영역의 뚜렷한 시공간적 특성을 활용한다. 이벤트 카메라의 움직임은 가장자리에서 일관된 이벤트를 유도하는 반면, 비-가장자리 영역에서는 드문드문한 잡음이 발생한다. 우리는 국소 분산을 측정하는 패치 기반 시간적 일관성 분석을 통해 이를 활용하여, 잡음은 강건하게 억제하면서 가장자리를 추출한다. 추출된 가장자리는 구조를 인지하는 가우시안 초기화에 가이드가 되며, 초기화, 트래킹, 번치 조정(bundle adjustment)에 이르기까지 가장자리 가중 손실(edge-weighted loss)을 가능하게 한다. 합성 및 실제 데이터셋에 대한 광범위한 실험 결과, E2EGS는 더 우수한 재구성 품질과 궤적 정확도를 달성하여, 이벤트 기반 3D 재구성을 위한 완전한 포즈 비의존 패러다임을 입증한다.

신경 복사도 필드(neural radiance fields, NeRF)와 3D 가우시안 스플래팅(3D Gaussian splatting, 3DGS)의 등장은 새로운 시점 합성(NVS)을 진전시켰다. 그러나 이러한 방법들은 고품질 RGB 입력과 정확한 대응 자세를 요구하므로, 빠른 카메라 운동이나 불리한 조명과 같은 실제 환경에서의 강건성이 제한된다. 이벤트 카메라는 각 픽셀의 밝기 변화를 고해상도 시간 분해능과 넓은 동적 범위로 포착하여, 동적 장면에 대한 정밀한 감지를 가능하게 하고 유망한 해결책을 제공한다. 하지만 기존의 이벤트 기반 NVS 방법들은 알려진 자세를 가정하거나, 초기 관측에 의해 범위가 제한되는 깊이 추정 모델에 의존하여, 카메라가 이전에 관측되지 않은 영역을 통과할 때 일반화에 실패한다. 본 연구에서는 이벤트 스트림만을 사용하여 동작하는 자세 비의존(pose-free) 프레임워크 E2EGS를 제안한다. 우리의 핵심 통찰은 에지 정보가 정확한 궤적 추정과 고품질 NVS에 필수적인 풍부한 구조적 단서를 제공한다는 점이다. 잡음이 섞인 이벤트 스트림에서 에지를 추출하기 위해, 에지와 비(非) 에지 영역의 구별되는 시공간적 특성을 활용한다. 카메라의 움직임은 에지를 따라 일관된 이벤트를 유발하는 반면, 비(非) 에지 영역은 희소한 잡음을 생성한다. 우리는 국소 분산을 측정하는 패치 기반 시간적 일관성 분석을 통해 이를 활용하여 잡음을 견고하게 억제하면서 에지를 추출한다. 추출된 에지는 구조를 인식하는 가우시안 초기화에 가이드를 제공하며, 초기화, 추적, 번들 조정(bundle adjustment) 전 과정에 걸쳐 에지 가중 손실을 가능하게 한다. 합성 및 실제 데이터셋 모두에서 수행한 광범위한 실험 결과, E2EGS는 더 우수한 재구성 품질과 궤적 정확도를 달성함을 보여주었으며, 이벤트 기반 3D 재구성을 위한 완전한 자세 비의존 패러다임을 정립한다.

온라인 변화 감지는 이동 로봇이 동적인 환경에서 효율적으로 탐색하기 위해 필수적이다. 활동 중인 건설 현장이나 자주 재구성되는 실내 공간과 같은 일시적 환경에서의 변화를 탐지하는 일은 빈번한 가림(occlusion)과 시공간적 변동(spatiotemporal variations) 때문에 특히 어렵다. 기존 접근법은 변화 탐지에 종종 어려움을 겪으며, 서로 다른 관측들에 걸쳐 지도를 적절히 갱신하지 못하는 경우가 많다. 이러한 한계를 해결하기 위해, 우리는 온라인 변화 감지와 장기 지도 유지보계를 동시에 수행하도록 설계된 듀얼 헤드(dual-head) 네트워크를 제안한다. 이 과업에서의 핵심 난점은 실제 데이터의 수집과 정렬인데, 시간에 따른 구조적 차이를 수작업으로 등록하는 것은 노동집약적일 뿐 아니라 종종 비현실적이다. 이를 극복하기 위해, 우리는 서로 다른 장면(scene)에서 요소를 가져와 구조적 변화를 합성하는 데이터 증강 전략을 개발하여, 방대한 수준의 정답(ground-truth) 주석 없이도 효과적으로 모델을 학습할 수 있게 한다. 실제 건설 현장과 실내 사무 환경에서 수행한 실험 결과, 본 접근법은 다양한 시나리오에 대해 잘 일반화되며 효율적이고 정확한 지도 갱신을 달성함을 보여주었다. 소스 코드와 추가 자료는 다음에서 확인할 수 있다: https://chamelion-pages.github.io/.

사족(四足) 로봇은 동물에 준하는 회복탄력성을 바탕으로 복잡한 장애물이 있는 환경을 탐색하는 데 있어 유망한 응용 가능성을 지닌다. 그러나 부유(浮遊) 베이스 구성은 실제 환경의 불확실성에 취약하여 보행(運動) 제어에 상당한 어려움을 초래한다. 딥 강화학습은 견고한 보행 제어기를 개발하기 위한 실행 가능한 대안으로 부상하였다. 다만, 고유감각(proprioception)에만 의존하는 접근법은 종종 충돌 없는 보행을 희생하는데, 이는 계단을 감지하고 보행을 적응시키기 위해 전족(前足)의 접촉이 필요하기 때문이다. 한편 외부감각(exteroception)을 통합하려면 시간에 걸쳐 외부감각 센서가 관측하는 정밀하게 모델링된 지도가 필요하다. 본 연구는 회복탄력적인 다중 양식(multi-modal) 강화학습 프레임워크를 통해 고유감각과 외부감각을 융합하는 새로운 방법을 제안한다. 제안된 방법은 거친 지형, 급경사, 고층 계단을 포함하는 다양한 실제 환경 코스에서 사족 로봇이 민첩한 보행을 수행하도록 하는 제어기를 제공하면서도, 분포 외(out-of-distribution) 상황에서도 강건성을 유지한다.

산, 동굴, 건설 현장 또는 재난 지역과 같은 비정형 환경은 지형의 불규칙성 때문에 자율 주행에 어려움을 초래한다. 특히 위험한 지형을 회피하고 목표에 빠르고 안전하게 도달하기 위한 경로 계획이 중요하다. 본 논문에서는 지형의 기하학적 통과가능성(Traversability)을 고려하는 새로운 그래프 표현인 Traversal Risk Graph(TRG)를 활용하여 안전하면서도 거리 효율적인 경로 계획 방법을 제안한다. TRG의 노드는 지형의 안정성과 도달 가능성을 나타내며, 간선은 상대적인 통과 위험도에 가중된 경로 후보를 나타낸다. 또한 TRG는 웨이브프론트(wavefront) 전파 방식으로 구성되고 계층적으로 관리되어, 대규모 환경에서도 실시간 계획이 가능하다. 마지막으로, TRG에 대해 그래프 최적화 문제를 정식화하여 로봇이 안전한 경로와 짧은 경로를 모두 우선순위로 두고 탐색하도록 한다. 본 접근법은 기존 방법에 비해 더 우수한 안전성, 거리 효율성, 그리고 빠른 처리 시간을 보여주었다. 또한 사족 로봇을 사용한 여러 실세계 실험을 통해 검증되었다. 특히 TRG-planner는 DreamSTEP 팀의 자율 주행 프레임워크에서 전역 경로 계획기로 기여했으며, 이 팀은 ICRA 2023의 사족 로봇 챌린지에서 우승하였다. 프로젝트 페이지는 https://trg-planner.github.io 에서 확인할 수 있다.

LiDAR 관성 항법 주행거리추정(LiDAR-inertial odometry, LIO)은 높은 정확도로 인해 로보틱스에서 널리 사용되어 왔다. 그러나 LiDAR 측정이 불균형하거나 희소한 장거리 복도와 고고도 비행과 같은 퇴화(변질) 환경에서는 성능이 저하되며, 이로 인해 상태 추정이 ill-posed가 된다. 본 서신에서는 이러한 퇴화를 두 가지 핵심 모듈을 통해 해결하는 새로운 LIO 방법인 LODESTAR를 제시한다: 퇴화 인지 적응형 슈미트-칼만 필터(degeneracy-aware adaptive Schmidt-Kalman filter, DA-ASKF)와 퇴화 인지 데이터 활용(degeneracy-aware data exploitation, DA-DE)이다. DA-ASKF는 슬라이딩 윈도우를 사용하여 과거의 상태와 측정을 추가 제약으로 활용한다. 구체적으로, 퇴화 수준에 따라 상태를 능동(active) 또는 고정(fixed)으로 적응적으로 분류하는 퇴화 인지 슬라이딩 모드를 도입한다. 슈미트-칼만 갱신을 사용하여 능동 상태는 부분적으로 최적화하되 고정 상태는 보존한다. 이때 고정 상태는 자신의 공분산을 통해 능동 상태의 갱신에 영향을 주며, 기준 앵커(reference anchor)로 작용한다—lodestar에 비유할 수 있다. 또한 DA-DE는 퇴화 인지 데이터 활용을 통해 능동 상태에서는 정보가 덜한 측정을 가지치기(prune)하고, 야기되는 국소적 위치추정 가능성(localizability) 기여와 야코비안 행렬의 조건수(condition number)를 바탕으로 고정 상태로부터 측정을 선택적으로 활용한다. 그 결과, DA-ASKF는 퇴화 인지 제약 최적화를 가능하게 하고 측정 희소성을 완화하는 반면, DA-DE는 측정 불균형을 해결한다. 실험 결과는 LODESTAR가 다양한 퇴화 조건에서 정확도와 견고성 측면에서 기존 LiDAR 기반 주행거리추정 방법 및 퇴화 인지 모듈보다 우수함을 보여준다.

씬 그래프(scene graphs)는 로봇을 위한 강력한 도구로 부상했으며, 고급 작업 계획을 위해 공간적 및 의미적 관계를 구조화된 형태로 표현한다. 그럼에도 불구하고 기존의 3차원 실내 씬 그래프는 구조적으로 복잡한 환경에서 특히 방(실) 층(레이어)의 과소 분할 및 과대 분할이라는 치명적인 제한을 보인다. 과소 분할은 비이동 가능(non-traversable) 영역을 방의 일부로 잘못 분류하는데, 주로 개방된 공간에서 자주 발생한다. 반대로 과대 분할은 복잡한 환경에서 하나의 방을 여러 개의 겹치는 세그먼트로 조각내는 문제를 초래한다. 이러한 문제는 기하적 근접성에만 의존하는 순진한 복셀(voxel) 기반 지도 표현에서 비롯되며, 이동 가능 공간의 구조적 제약을 무시함으로써 씬 그래프 내의 방 층이 일관되지 않게 된다. 우리가 아는 한, 본 연구는 이러한 분할 비일관성을 하나의 과제로 다루고, 로봇 이동 가능성을 방 분할에 통합하는 새로운 프레임워크인 Traversability-Aware Consistent Scene Graphs (TACS-Graphs)로 이를 해결하는 최초의 연구이다. 이동 가능성을 방 경계 정의의 핵심 요인으로 활용함으로써, 제안하는 방법은 보다 의미적으로 타당하고 위상적으로 일관된 분할을 달성하여, 복잡한 환경에서 복셀 기반 씬 그래프 접근법의 부정확성을 효과적으로 완화한다. 또한 향상된 분할 일관성은 제안한 Consistent Scene Graph-leveraging Loop Closure Detection (CoSG-LCD)에서 루프 클로저(loop closure) 탐지 효율을 높이며, 결과적으로 자세 추정 정확도를 향상시킨다. 실험 결과는 제안된 접근법이 씬 그래프 일관성과 포즈 그래프 최적화 성능 측면에서 기존의 최첨단 방법들보다 우수함을 확인해준다.

뉴런 및 시냅스 소자의 단일체 3D 집적(monolithic 3D integration)은 에너지 효율적이고 소형인 뉴로모픽 하드웨어를 위한 유망한 해결책으로 여겨진다. 그러나 학습(training)과 추론(inference) 모두에서 최적의 성능을 달성하는 것은 여전히 도전적이다. 이는 이 두 과정이 신뢰할 수 있는 내구성(endurance)과 장기 유지(long retention)를 필요로 하는 서로 다른 시냅스 소자를 요구하기 때문이다. 여기서는 층별(layer-by-layer) 제작에 기반한 단일체 집적 뉴로모픽 하드웨어를 사용하여, 학습과 추론을 분리하는 디커플링(decoupling) 전략을 제안한다. 이 3D 뉴로모픽 하드웨어는 첫 번째 층에 단일 트랜지스터(1T-neuron)로 구성된 뉴런, 추론을 위한 두 번째 층에 SONOS 구조를 갖는 단일 박막 트랜지스터(1TFT-synapses)로 이루어진 장기 동작 시냅스, 그리고 학습을 위한 세 번째 층에 멤리스터(1M-synapses)로 구성된 내구성 시냅스를 포함한다. 전하 트랩(charge-trap) 층을 활용하는 1TFT-시냅스는 추론 작업에 유리한 장기 유지 특성을 나타낸다. 반면, 계면(interface)에서 음이온(anion) 이동을 활용하는 1M-시냅스는 학습 중 반복적인 가중치 업데이트(weight updates)를 위한 견고한 내구성을 보여준다. 제안된 하이브리드 시냅스 구조를 통해 내구성이 강한 1M-시냅스를 사용하여 빈번한 학습을 수행할 수 있으며, 장기 유지가 가능한 1TFT-시냅스를 사용하여 간헐적 추론을 처리할 수 있다. 시냅스 기능을 이러한 방식으로 분리하는 것은 뉴로모픽 컴퓨팅에서 신뢰할 수 있는 스파이킹 신경망(SNN)을 달성하는 데 유리하다.