최근 신경 표현(neural representations)의 발전은 로봇에서 고충실도 밀집 매핑(high-fidelity dense mapping)을 가능하게 할 수 있다는 점에서 큰 가능성을 보여주었다. 그러나 실제 환경은 본질적으로 동적이기 때문에, 많은 연구가 동적 관측으로부터 정적 장면 표현을 학습하려고 시도해 왔다. 그럼에도 기존 방법들은 미세하게 움직이는 물체를 제거하는 데 자주 실패하며, 가려진(static) 정적 배경을 정확하게 복원하는 데에도 어려움을 겪어 실제 적용에서의 핵심 한계로 이어진다. 또한 정적 신경 맵(static neural maps)을 사용하여 위치추정을 수행할 때에는, 질의 이미지(query images)에 포함된 동적 콘텐츠를 효과적으로 처리해야 한다. 이러한 문제를 해결하기 위해, 우리는 다양한 동적 환경에 강건하며 위치추정 과정에서 동적 콘텐츠를 처리할 수 있는 정적 신경 매핑 프레임워크를 제안한다. 우리는 공개 데이터셋과 자체(in-house) 데이터셋 모두에 대해 광범위한 실험을 통해 우리의 접근법을 평가하였다. 본 방법은 동적 조건에서 동적 물체 제거와 위치추정 견고성(localization robustness) 모두를 향상시키며, 실제 환경에서의 회복탄력적인 로봇 내비게이션(resilient robot navigation)을 향한 중요한 진전을 이룬다.

서로 다른 지도들의 통합은 여러 세션과 협력적 다중 로봇 시나리오 전반에서 확장 가능한 로봇 운용을 가능하게 하기 위해 필수적이다. 그러나 센서 양식과 동적 환경에 강인한 단일 지도를 달성하는 일은 여전히 어려운 문제로 남아 있다. LiDAR 유형의 차이와 동적 요소의 존재는 점군 분포와 장면 일관성의 차이를 초래하여, 정확한 지도 정렬에 필수적인 신뢰할 수 있는 디스크립터 생성 및 루프 클로저 탐지를 방해한다. 이러한 과제를 해결하기 위해 본 논문은 다중 양식 LiDAR 시스템을 위한 동적 인지형 3D 점군 지도 병합 프레임워크인 Uni-Mapper를 제시한다. 이는 동적 객체 제거, 동적 인지형 루프 클로저, 그리고 다중 양식 LiDAR 지도 병합 모듈로 구성된다. 시간적 점유(occupancy) 불일치를 통해 동적 객체를 식별하고 거부하기 위해, 거친-단계부터 정밀-단계(coarse-to-fine) 방식으로 복셀 단위 자유 공간 해시 맵(voxel-wise free space hash map)을 구축한다. 제거 모듈은 보존된 정적 점들로부터 국소 특징을 추출하는 지도 중심(descriptor) 디스크립터와 통합되어, 동적 환경에서 다중 양식 LiDAR의 견고성을 보장한다. 최종 단계에서는 세션 내(intrasession) 및 지도 간(inter-map) 루프 클로저 모두에 대해 여러 포즈 그래프 최적화를 수행한다. 지도 병합 과정에서 세션 내 드리프트(intra-session drift) 오류를 완화하기 위해 중앙 집중형 앵커 노드(centralized anchor-node) 전략을 채택한다. 제안 프레임워크는 동적 객체와 이질적 LiDAR가 포함된 다양한 실세계 데이터셋에서 평가되었으며, 센서 양식 전반에서의 루프 탐지 성능, 동적 환경에서의 견고한 맵핑, 그리고 기존 방법 대비 정확한 다중 지도 정렬에서 우수한 성능을 보인다. 프로젝트 페이지: https://sparolab.github.io/research/uni_mapper.

장소 인식(place recognition)은 강건한 장기 자율성을 달성하는 데 중요한 역할을 한다. 실제 환경의 로봇은 다양한 기상 조건(예: 흐림, 폭우, 눈 오는 상황)에 직면하며, 대부분의 센서(i.e. 카메라, LiDAR)는 본질적으로 가시 전자기파 영역 또는 그 근처에서 작동하기 때문에 불리한 기상 조건에 민감하여 신뢰할 수 있는 위치 추정(localization)이 어렵다. 이에 반해 레이더는 긴 전자기파로 인해 환경 변화의 영향을 덜 받으며 날씨에 독립적이어서 주목받고 있다. 본 연구에서는 레이더 기반의 경량(lightweight)이며 강건한 장소 인식을 제안한다. 우리는 1차원 고리형(one-dimensional ring-shaped) 기술(description)을 선택함으로써 회전 불변성(rotational invariance)과 경량성을 달성하고, 특징(feature)과의 반대되는 잡음 특성을 이용하여 허위 탐지(false detection)의 영향을 완화함으로써 강건성을 확보한다. 또한 초기 방위(initial heading)를 추정할 수 있으며, 이는 온보드 컴퓨팅(onboard computing)을 고려하는, 주행거리계(odometry)와 정합(registration)을 결합하는 SLAM 파이프라인 구축에 도움을 준다. 제안된 방법은 다양한 시나리오(즉, 단일 세션, 다중 세션, 서로 다른 기상 조건)에 걸쳐 엄격한 검증을 통해 시험되었다. 특히 OORD 데이터셋과 같이 구조적 정보가 결여된 극한 환경의 결과를 통해, 우리의 기술자가 신뢰할 수 있는 장소 인식 성능을 달성함을 검증한다.

수중 시각 시스템은 불가피한 빛의 전파로 인해 종종 흐릿한 질감과 낮은 색 대비 문제를 겪는다. 이러한 문제는 안정적인 로봇 작동에 대한 인식을 상당히 저하시킬 수 있다. 본 논문에서는 수중에서의 다차원 비전 과제를 해결하는 새로운 학습 기반 센싱 시스템을 제안한다. 구체적으로, 우리는 3-D 시각 시스템을 위한 영상 향상, 깊이 추정, 불확실성 추정을 다룬다. 또한 빠르고 경량화된 방식으로 TRIDENT 모델을 제안한다. TRIDENT는 효율적인 특징 공유를 위한 하나의 백본 구조와 세 개의 병렬화된 디코더로 구성된다. 아울러 복잡한 매개변수화를 표현하도록 학습되도록 설계되었다. 여러 표준 데이터셋에 대한 실험적 평가에서 TRIDENT는 영상 향상과 깊이 추정에서 기존의 다른 방법들에 비해 유의미하게 뛰어난 성능을 보임을 입증한다. 세 가지 과제를 수행함에도 불구하고, 우리의 모델은 메모리 크기와 추론 시간 모두에서 다른 방법들보다 더 나은 효율성을 나타낸다. 마지막으로, 공동 학습 접근법은 특징 매칭에서의 견고성을 보여주며 2-D에서 3-D 비전 과제로 원활하게 확장된다. 보충 자료는 https://sites.google.com/view/underwater-trident/home에서 이용 가능하다.

최근 신경 표현(neural representations)의 발전은 로봇에서 고충실도 밀집 매핑(high-fidelity dense mapping)을 가능하게 할 수 있다는 점에서 큰 가능성을 보여주었다. 그러나 실제 환경은 본질적으로 동적이기 때문에, 많은 연구가 동적 관측으로부터 정적 장면 표현을 학습하려고 시도해 왔다. 그럼에도 기존 방법들은 미세하게 움직이는 물체를 제거하는 데 자주 실패하며, 가려진(static) 정적 배경을 정확하게 복원하는 데에도 어려움을 겪어 실제 적용에서의 핵심 한계로 이어진다. 또한 정적 신경 맵(static neural maps)을 사용하여 위치추정을 수행할 때에는, 질의 이미지(query images)에 포함된 동적 콘텐츠를 효과적으로 처리해야 한다. 이러한 문제를 해결하기 위해, 우리는 다양한 동적 환경에 강건하며 위치추정 과정에서 동적 콘텐츠를 처리할 수 있는 정적 신경 매핑 프레임워크를 제안한다. 우리는 공개 데이터셋과 자체(in-house) 데이터셋 모두에 대해 광범위한 실험을 통해 우리의 접근법을 평가하였다. 본 방법은 동적 조건에서 동적 물체 제거와 위치추정 견고성(localization robustness) 모두를 향상시키며, 실제 환경에서의 회복탄력적인 로봇 내비게이션(resilient robot navigation)을 향한 중요한 진전을 이룬다.

서로 다른 지도들의 통합은 여러 세션과 협력적 다중 로봇 시나리오 전반에서 확장 가능한 로봇 운용을 가능하게 하기 위해 필수적이다. 그러나 센서 양식과 동적 환경에 강인한 단일 지도를 달성하는 일은 여전히 어려운 문제로 남아 있다. LiDAR 유형의 차이와 동적 요소의 존재는 점군 분포와 장면 일관성의 차이를 초래하여, 정확한 지도 정렬에 필수적인 신뢰할 수 있는 디스크립터 생성 및 루프 클로저 탐지를 방해한다. 이러한 과제를 해결하기 위해 본 논문은 다중 양식 LiDAR 시스템을 위한 동적 인지형 3D 점군 지도 병합 프레임워크인 Uni-Mapper를 제시한다. 이는 동적 객체 제거, 동적 인지형 루프 클로저, 그리고 다중 양식 LiDAR 지도 병합 모듈로 구성된다. 시간적 점유(occupancy) 불일치를 통해 동적 객체를 식별하고 거부하기 위해, 거친-단계부터 정밀-단계(coarse-to-fine) 방식으로 복셀 단위 자유 공간 해시 맵(voxel-wise free space hash map)을 구축한다. 제거 모듈은 보존된 정적 점들로부터 국소 특징을 추출하는 지도 중심(descriptor) 디스크립터와 통합되어, 동적 환경에서 다중 양식 LiDAR의 견고성을 보장한다. 최종 단계에서는 세션 내(intrasession) 및 지도 간(inter-map) 루프 클로저 모두에 대해 여러 포즈 그래프 최적화를 수행한다. 지도 병합 과정에서 세션 내 드리프트(intra-session drift) 오류를 완화하기 위해 중앙 집중형 앵커 노드(centralized anchor-node) 전략을 채택한다. 제안 프레임워크는 동적 객체와 이질적 LiDAR가 포함된 다양한 실세계 데이터셋에서 평가되었으며, 센서 양식 전반에서의 루프 탐지 성능, 동적 환경에서의 견고한 맵핑, 그리고 기존 방법 대비 정확한 다중 지도 정렬에서 우수한 성능을 보인다. 프로젝트 페이지: https://sparolab.github.io/research/uni_mapper.

장소 인식(place recognition)은 강건한 장기 자율성을 달성하는 데 중요한 역할을 한다. 실제 환경의 로봇은 다양한 기상 조건(예: 흐림, 폭우, 눈 오는 상황)에 직면하며, 대부분의 센서(i.e. 카메라, LiDAR)는 본질적으로 가시 전자기파 영역 또는 그 근처에서 작동하기 때문에 불리한 기상 조건에 민감하여 신뢰할 수 있는 위치 추정(localization)이 어렵다. 이에 반해 레이더는 긴 전자기파로 인해 환경 변화의 영향을 덜 받으며 날씨에 독립적이어서 주목받고 있다. 본 연구에서는 레이더 기반의 경량(lightweight)이며 강건한 장소 인식을 제안한다. 우리는 1차원 고리형(one-dimensional ring-shaped) 기술(description)을 선택함으로써 회전 불변성(rotational invariance)과 경량성을 달성하고, 특징(feature)과의 반대되는 잡음 특성을 이용하여 허위 탐지(false detection)의 영향을 완화함으로써 강건성을 확보한다. 또한 초기 방위(initial heading)를 추정할 수 있으며, 이는 온보드 컴퓨팅(onboard computing)을 고려하는, 주행거리계(odometry)와 정합(registration)을 결합하는 SLAM 파이프라인 구축에 도움을 준다. 제안된 방법은 다양한 시나리오(즉, 단일 세션, 다중 세션, 서로 다른 기상 조건)에 걸쳐 엄격한 검증을 통해 시험되었다. 특히 OORD 데이터셋과 같이 구조적 정보가 결여된 극한 환경의 결과를 통해, 우리의 기술자가 신뢰할 수 있는 장소 인식 성능을 달성함을 검증한다.

수중 시각 시스템은 불가피한 빛의 전파로 인해 종종 흐릿한 질감과 낮은 색 대비 문제를 겪는다. 이러한 문제는 안정적인 로봇 작동에 대한 인식을 상당히 저하시킬 수 있다. 본 논문에서는 수중에서의 다차원 비전 과제를 해결하는 새로운 학습 기반 센싱 시스템을 제안한다. 구체적으로, 우리는 3-D 시각 시스템을 위한 영상 향상, 깊이 추정, 불확실성 추정을 다룬다. 또한 빠르고 경량화된 방식으로 TRIDENT 모델을 제안한다. TRIDENT는 효율적인 특징 공유를 위한 하나의 백본 구조와 세 개의 병렬화된 디코더로 구성된다. 아울러 복잡한 매개변수화를 표현하도록 학습되도록 설계되었다. 여러 표준 데이터셋에 대한 실험적 평가에서 TRIDENT는 영상 향상과 깊이 추정에서 기존의 다른 방법들에 비해 유의미하게 뛰어난 성능을 보임을 입증한다. 세 가지 과제를 수행함에도 불구하고, 우리의 모델은 메모리 크기와 추론 시간 모두에서 다른 방법들보다 더 나은 효율성을 나타낸다. 마지막으로, 공동 학습 접근법은 특징 매칭에서의 견고성을 보여주며 2-D에서 3-D 비전 과제로 원활하게 확장된다. 보충 자료는 https://sites.google.com/view/underwater-trident/home에서 이용 가능하다.

우리는 실제 로봇 내비게이션 환경에서 센서 융합 또는 센서 장착과 같은 여러 요인으로 인해 제한된 FOV(시야)를 자주 마주한다. 그러나 이러한 제한된 FOV는 기술(설명) 생성의 흐름을 방해하고, 장소 인식을 불리하게 만든다. 따라서 우리는 제한된 FOV를 갖는 LiDAR 기반 장소 인식을 이용하여 일관된 지도에서 누적된 드리프트 오차를 수정하는 데 어려움을 겪는다. 이에 본 논문 서신(letter)에서는 협소한 FOV 상황을 처리하기 위한 견고한 LiDAR 기반 장소 인식 방법을 제안한다. 제안하는 방법은 장소를 나타내기 위해 거리-고도(bin) 및 방위-고도(bin)에 기반한 공간적 구성을 설정한다. 또한 수직 방향 정보에 근거한 재가중(reweighting)을 통해 견고한 장소 기술(description)을 달성한다. 이러한 표상들을 바탕으로, 본 방법은 회전 변화에 대응하고 초기 방위(initial heading)를 결정할 수 있게 한다. 아울러 로봇의 온보드 자율주행을 위한 경량화되고 신속한 접근법을 설계하였다. 엄밀한 검증을 위해, 제안 방법을 다양한 LiDAR 장소 인식 시나리오(즉, 단일 세션, 다중 세션, 다중 로봇 시나리오) 전반에 걸쳐 시험하였다. 우리가 아는 한, 제한된 FOV를 다루기 위한 최초의 방법을 보고한다.

본 논문에서는 다중 로봇 시스템이 운영되는 실외 환경에서 타겟이 손상된 상황에서도 적용 가능한 새로운 구체 타겟 기반 LiDAR와 카메라 간의 외부 캘리브레이션 방법을 제안한다. 카메라의 경우, 작은 크기의 구체 타겟을 효과적으로 추출하기 위해 SAM(Segment Anything Model)을 활용한다. LiDAR의 경우, 구체 타겟에는 평평한 영역이 없어 노이즈가 불가피하므로, 누적된 포인트클라우드에 가중합을 적용하여 정확한 구체 중심을 추출한다. 실험을 통해 카메라와 세 종류의 LiDAR에서 제안된 방법을 평가하였다. 제안한 접근 방식은 타겟이 손상된 상황에서도 강건하게 타겟을 검출하였으며, 정확도 측면에서 기존 방법 대비 재투영 오차에서 평균 92.51%의 성능 개선을 보여줬다.

행성 탐사 로봇은 우주 임무를 위한 신뢰할 수 있는 지도 구축과 함께, 고르지 않은 지형을 주행하며 내비게이션을 수행해야 한다. 그러나 대부분의 기존 방법은 통행가능성(traversability) 제약을 포함하더라도, 크레이터(c rater)와 같은 복잡한 특징 근처에서의 고(高) 불확실성 고도 추정에 대해서는 적절히 처리하지 못하며, 불확실성 감소를 위한 탐사 전략을 고려하지 않고, 또한 고도 불확실성이 내비게이션 안전성과 지도 품질에 어떻게 영향을 미치는지에 대한 문제를 일반적으로 다루지 못한다. 이러한 문제를 해결하기 위해, 우리는 안전한 경로 생성을 결합하고, 적응적 신뢰도(confidence) 업데이트를 수행하며, 신뢰도 인지(confidence-aware) 탐사 전략을 적용하는 통합 프레임워크를 제안한다. 칼만 기반 고도 추정(Kalman-based elevation estimation)을 사용하여, 본 접근법은 지형 통행가능성과 신뢰도 점수들을 생성한 뒤, 이를 그래프 기반 탐사 플래너(Graph-Based exploration Planner, GBP)에 통합하여 통행가능하되 신뢰도가 낮은 영역의 탐사를 우선순위로 배치한다. 우리는 새로운 저신뢰 영역 비율(low-confidence region ratio) 메트릭을 사용한 시뮬레이션 달(lunar) 실험을 통해 본 프레임워크를 평가하였으며, 기준 GBP(baseline GBP) 대비 69%의 불확실성 감소를 달성했다. 임무 성공률 측면에서, 본 방법은 100%를 달성한 반면 기준 GBP는 0%를 달성하여, 탐사 안전성과 지도 신뢰성의 향상을 입증한다.

본 논문은 다중 로봇 시스템과 야외 환경을 대상으로, 표적 및 센서의 오염(손상)을 모두 고려한 구형 표적 기반 LiDAR-카메라 외부 파라미터(Extrinsic) 캘리브레이션의 새로운 방법을 제시한다. 이 방법은 영상에서 2D 타원의 중심을 추출하고 점군(pointcloud)에서 3D 구의 중심을 추출한 뒤, 이들을 짝지어 변환 행렬을 계산한다. 구체적으로, 먼저 이미지를 Segment Anything Model (SAM)을 이용해 분해한다. 다음으로, 잠재적으로 오염된 구로부터 타원을 추출하는 새로운 알고리즘을 적용하며, 추출된 타원 중심은 원근 투영 모델로 인한 오차에 대해 보정한다. LiDAR 점군의 경우, 평탄한 영역이 없기 때문에 구에 해당하는 점들은 높은 노이즈를 보이는 경향이 있다. 이러한 노이즈 측정치로부터 구를 정확히 추출하기 위해, 누적 점군에 대해 계층적 가중 합(hierarchical weighted sum)을 적용한다. 실험을 통해, 구는 두 가지 오염 유형 모두에서도 강건하게 검출될 수 있으며 다른 표적들을 능가함을 보였다. 본 방법은 서로 다른 세 가지 유형의 LiDAR(회전형, 고체상태형, 비반복(non-repetitive))와 카메라를 세 가지 서로 다른 위치에 배치한 조건에서 평가하였다. 또한 다양한 유형의 열화(degradation)를 겪은 구에 대해 표적 오염에 대한 본 방법의 강건성을 실험으로 검증하였다. 이러한 실험은 행성 환경 시험(planetary test)과 현장(field) 환경에서 모두 수행되었다. 본 코드는 https://github.com/sparolab/MARSCalib 에서 제공된다.

로봇은 종종 알려지지 않은 객체 클래스와 의미적 모호성이 공존하는 환경에서 위치를 파악해야 한다. 그러나 의미적 객체를 이용한 전역(local) 위치추정(global localization)을 수행할 때, 높은 의미적 모호성은 객체의 오분류를 심화시키고 잘못된 연관(association)이 성립할 가능성을 증가시키며, 이는 결국 추정된 자세(pose)에 중대한 오류를 유발할 수 있다. 따라서 본 서신(letter)에서는 객체 수준의 전역 위치추정을 위한 다중 라벨 확률 기반 의미 그래프 매칭(matching) 프레임워크를 제안한다. 핵심 아이디어는 단일 라벨 대안이 아니라 다중 라벨 그래프 표현을 활용하여 객체 관측에 내재한 의미적 맥락을 포착하고 이를 활용하는 것이다. 이러한 표현을 바탕으로, 각 노드의 가능도(likelihood)와 맥락을 인지하는 가능도 전파(context-aware likelihood propagation)를 통해 이웃 노드들의 최대 가능도를 결합함으로써 그래프 간 의미적 대응(semantic correspondence)을 강화한다. 엄밀한 검증을 위해 데이터 연관(data association)과 자세 추정 성능을 폐쇄 집합(closed-set) 및 개방 집합(open-set) 탐지 구성 모두에서 평가한다. 또한 실제 환경의 실내 장면과 합성 환경 모두에서 대규모 어휘(vocabulary)를 갖는 객체 범주에 대한 본 접근법의 확장성(scalability)을 시연한다.