정확한 상태 추정은 자율 농업 로봇의 신뢰할 수 있는 운영에 필수적이다. 상태 추정의 효과는 센서 융합 알고리즘, 환경, 센서 품질과 같은 여러 요인의 영향을 받는다. 로봇이 대규모 시나리오에서 주행할 때, 이동 거리와 고속 기동은 추정 과정에서 드리프트를 유발하며 이는 신중히 고려되어야 한다. 또한 센서의 시간에 따라 변하는 잡음은 주행거리계(odometry) 정확도에 추가적으로 영향을 주며, 특히 장거리 이동에서 두드러지게 나타난다. 본 연구는 농업 응용에 중점을 두고, 고르지 않은 지형을 포함한 대규모 비정형 환경에서의 다중 제약 기반 상태 추정과 관련된다. LiDAR-IMU 기반 융합을 사용하여, 농경지와 같은 복잡한 환경에서 신뢰할 수 있고 정확한 위치추정(localization) 솔루션을 제공하는 것을 목표로 한다. 더 나아가 농업 환경은 고르지 않은 지형과 특징점의 부족으로 인해 더욱 어려워진다. 본 연구는 이러한 도전 과제를 해결하기 위해 인자 그래프(factor graph) 기반 최적화와 적응형 칼만 필터(adaptive Kalman filtering)를 결합한 하이브리드 프레임워크를 제안한다. 또한 성능 평가는 농업 환경에서 자체 수집한 데이터셋뿐 아니라 GRACO & KITTI와 같은 공개 접근 데이터셋에서도 수행한다.

동시 위치추정 및 지도작성(simultaneous localization and mapping, SLAM)에서 진정한 루프 클로저(loop closure)의 검출은 재위치추정(relocalization)과 지도 정확도 향상에 유리하다. 그러나 그 성능은 조명 조건, 시점, 계절의 변화, 그리고 동적 객체의 존재에 의해 크게 영향을 받는다. 지난 수십 년 동안 이러한 문제를 해결하기 위한 노력이 이루어져 왔음에도 불구하고, 이는 여전히 미해결 과제로 남아 있다. 본 연구는 인간과 유사한 장면 이해를 달성하기 위한 시각 의미(visual semantics)의 장점에 주목하여, 의미를 보조하는 시각 루프 클로저 검출(sementics-aided visual loop closure detection) 방법을 조사하고, 시각 SLAM 시스템을 위한 의미 국소 및 전역 기술자(semantic local and global descriptors, SLGD)를 활용한 새로운 거친-부터-정밀한(coarse-to-fine) 루프 클로저 검출 방법을 제안한다. 제안된 방법은 주어진 이미지에서 저수준 및 고수준 정보를 활용함으로써, 시점과 조명 변화에 대해 불변적인 국소 시각 특징의 장점과 특정 의미 영역으로부터 추출된 전역 의미를 결합한다. 장기 자율성에 대한 견고성은 전역 의미 유사성과 의미적으로 두드러진 국소 특징 유사성의 융합을 통해 확보된다. 제안된 SLGD-Loop는 다양한 난이도의 벤치마크 데이터셋에서 기존의 최첨단 루프 클로저 검출 방법을 능가하며, Recall@N이 유의미하게 향상되고 100% 정밀도에서의 재현율(recall rate)이 더 높다.

최근 다양한 고성능 상태 추정 기법들이 제안되었음에도 불구하고, 이러한 추정 시스템의 견고성 및 실제 조건으로의 확장은 여전히 도전적인 과제로 남아 있다. 본 논문에서는 자율 이동 로봇을 대상으로 Type-2 퍼지 추론 시스템과 인자 그래프 최적화를 기반으로 한 견고한 적응형 상태 추정 프레임워크를 제시한다. 우리는 관성 센서와 LiDAR 및 카메라와 같은 기타 외부 센서를 제공함으로써, 밀결합(tightly coupled)과 느슨결합(loosely coupled) 기법의 장점을 연결하는 하이브리드 해법을 사용한다. 입력 공분산의 불확실성과 센서 고장 문제를 해결하기 위해 Type-2 FIS와 인자 그래프 최적화를 결합하여 학습 가능한 관측 모델을 도입한다. 특히, Type-2 Takagi-Sugeno FIS를 사용하여 관측 모델을 인자 그래프에 추가하기 전에 입자 군집 최적화(particle swarm optimization)로 불확실성을 학습한다. 제안된 설계는 센서 오도메트리, 업샘플링(up-sampling), FIS 기반 학습 관측 모델, 그리고 인자 그래프 기반 스무딩(factor graph-based smoothing)으로 구성된다. 우리는 다중 스테레오 카메라, IMU, 그리고 LiDAR 센서로 구성된 센서 세트를 갖춘 모바일 로봇 플랫폼을 사용하여 시스템을 평가한다. 시각-관성 추정기의 관측 모델을 학습하기 위해, 다른 부피가 큰 모션 캡처 시스템이 필요하지 않은 구조적 환경에서 LiDAR 오도메트리를 모사한다. 실험 결과는 실제 환경에 배치하여 알고리즘의 정확성과 견고성을 제시한다.

자율 이동 로봇의 항법 시스템은 카메라, LiDAR, 레이더와 같은 외부(보조) 감지 센서를 질감과 구조가 없는 환경에서 사용할 때 어려움이 발생하는 것으로 나타났다. 본 논문은 열화(degradation) 시나리오에서 적응적 팩터 그래프 최적화를 기반으로 하는 전방향(holonomic) 모바일 로봇을 위한 견고한 상태 추정(state estimation) 시스템을 제시한다. 특히 신경망을 사용하여 IMU 센서와 휠 엔코더(wheel encoder) 데이터만으로 관측(observation) 및 잡음(noise) 모델을 학습한다. 전방향 모바일 로봇에 대한 학습 모델을 다양한 신경망 아키텍처를 통해 고찰한다. 또한 관성-휠 엔코더(inertial-wheel encoder) 센서를 사용할 때, 더 강력한 신경망을 도입하면서도 더 저렴한 연산(컴퓨팅) 파워로 구현할 수 있음을 탐색한다. 더불어 다수의 LiDAR, 카메라, IMU, 휠 엔코더를 갖춘 산업용 전방향 로봇 플랫폼을 사용하여 실험을 수행하고, 부피가 큰 모션 캡처(motion capture) 시스템 없이도 기준 정답(ground truth)을 생성한다. 수집된 데이터셋은 이후 신경망 학습에 적용된다. 마지막으로 실험 평가 결과, 본 해법이 다른 해법에 비해 더 높은 정확도와 실시간 성능을 제공함을 제시한다. Note to Practitioners —자율 이동 로봇은 카메라, LiDAR, 레이더와 같은 외부 감지 센서가 허용되지 않는 도전적인 환경에서 견고하게 작동해야 한다. 이러한 상황에서 운용하기 위해서는 항법 시스템이 관성 센서와 휠 엔코더로서 내부(내재) 센서에 의존해야 한다. 기존의 여러 전통적 방법들은 이러한 모델을 적응시키지 않은 채 재귀적 베이지안 필터링(recursive Bayesian filtering) 기법의 형태로 내부 센서를 결합해 왔다. 또한 딥러닝 기반 해법들은 추정 문제를 처리하기 위해 LSTM 또는 CNN과 같은 광범위한 네트워크를 채택해 왔다. 본 연구의 목적은 적응적 팩터 그래프 최적화를 활용하여 내부 센서를 이용하는 전방향 모바일 로봇의 항법 시스템을 위한 상태 추정 서브시스템을 개발하는 것이다. 특히, IMU 및 휠 엔코더 팩터(factor)의 학습 관측 모델과 팩터 그래프를 효율적으로 결합하는 방법을 제시한다. 아울러 신경망을 도입하여 IMU 및 휠 엔코더 데이터 입력으로부터 관측 모델을 학습하는 방법을 제안한다. 경량 신경망은 IMU 센서와 휠 엔코더를 사용하여 딥러닝 기법보다 더 큰 성능을 달성할 수 있음을 인식한다. 마지막으로, 신경망을 팩터 그래프에 내장하여 스무딩(smoothing) 상태 추정을 처리한다. 제안된 시스템은 실시간으로도 높은 정확도를 갖고 운용될 수 있다.

정확한 상태 추정은 자율 농업 로봇의 신뢰할 수 있는 운영에 필수적이다. 상태 추정의 효과는 센서 융합 알고리즘, 환경, 센서 품질과 같은 여러 요인의 영향을 받는다. 로봇이 대규모 시나리오에서 주행할 때, 이동 거리와 고속 기동은 추정 과정에서 드리프트를 유발하며 이는 신중히 고려되어야 한다. 또한 센서의 시간에 따라 변하는 잡음은 주행거리계(odometry) 정확도에 추가적으로 영향을 주며, 특히 장거리 이동에서 두드러지게 나타난다. 본 연구는 농업 응용에 중점을 두고, 고르지 않은 지형을 포함한 대규모 비정형 환경에서의 다중 제약 기반 상태 추정과 관련된다. LiDAR-IMU 기반 융합을 사용하여, 농경지와 같은 복잡한 환경에서 신뢰할 수 있고 정확한 위치추정(localization) 솔루션을 제공하는 것을 목표로 한다. 더 나아가 농업 환경은 고르지 않은 지형과 특징점의 부족으로 인해 더욱 어려워진다. 본 연구는 이러한 도전 과제를 해결하기 위해 인자 그래프(factor graph) 기반 최적화와 적응형 칼만 필터(adaptive Kalman filtering)를 결합한 하이브리드 프레임워크를 제안한다. 또한 성능 평가는 농업 환경에서 자체 수집한 데이터셋뿐 아니라 GRACO & KITTI와 같은 공개 접근 데이터셋에서도 수행한다.

동시 위치추정 및 지도작성(simultaneous localization and mapping, SLAM)에서 진정한 루프 클로저(loop closure)의 검출은 재위치추정(relocalization)과 지도 정확도 향상에 유리하다. 그러나 그 성능은 조명 조건, 시점, 계절의 변화, 그리고 동적 객체의 존재에 의해 크게 영향을 받는다. 지난 수십 년 동안 이러한 문제를 해결하기 위한 노력이 이루어져 왔음에도 불구하고, 이는 여전히 미해결 과제로 남아 있다. 본 연구는 인간과 유사한 장면 이해를 달성하기 위한 시각 의미(visual semantics)의 장점에 주목하여, 의미를 보조하는 시각 루프 클로저 검출(sementics-aided visual loop closure detection) 방법을 조사하고, 시각 SLAM 시스템을 위한 의미 국소 및 전역 기술자(semantic local and global descriptors, SLGD)를 활용한 새로운 거친-부터-정밀한(coarse-to-fine) 루프 클로저 검출 방법을 제안한다. 제안된 방법은 주어진 이미지에서 저수준 및 고수준 정보를 활용함으로써, 시점과 조명 변화에 대해 불변적인 국소 시각 특징의 장점과 특정 의미 영역으로부터 추출된 전역 의미를 결합한다. 장기 자율성에 대한 견고성은 전역 의미 유사성과 의미적으로 두드러진 국소 특징 유사성의 융합을 통해 확보된다. 제안된 SLGD-Loop는 다양한 난이도의 벤치마크 데이터셋에서 기존의 최첨단 루프 클로저 검출 방법을 능가하며, Recall@N이 유의미하게 향상되고 100% 정밀도에서의 재현율(recall rate)이 더 높다.

최근 다양한 고성능 상태 추정 기법들이 제안되었음에도 불구하고, 이러한 추정 시스템의 견고성 및 실제 조건으로의 확장은 여전히 도전적인 과제로 남아 있다. 본 논문에서는 자율 이동 로봇을 대상으로 Type-2 퍼지 추론 시스템과 인자 그래프 최적화를 기반으로 한 견고한 적응형 상태 추정 프레임워크를 제시한다. 우리는 관성 센서와 LiDAR 및 카메라와 같은 기타 외부 센서를 제공함으로써, 밀결합(tightly coupled)과 느슨결합(loosely coupled) 기법의 장점을 연결하는 하이브리드 해법을 사용한다. 입력 공분산의 불확실성과 센서 고장 문제를 해결하기 위해 Type-2 FIS와 인자 그래프 최적화를 결합하여 학습 가능한 관측 모델을 도입한다. 특히, Type-2 Takagi-Sugeno FIS를 사용하여 관측 모델을 인자 그래프에 추가하기 전에 입자 군집 최적화(particle swarm optimization)로 불확실성을 학습한다. 제안된 설계는 센서 오도메트리, 업샘플링(up-sampling), FIS 기반 학습 관측 모델, 그리고 인자 그래프 기반 스무딩(factor graph-based smoothing)으로 구성된다. 우리는 다중 스테레오 카메라, IMU, 그리고 LiDAR 센서로 구성된 센서 세트를 갖춘 모바일 로봇 플랫폼을 사용하여 시스템을 평가한다. 시각-관성 추정기의 관측 모델을 학습하기 위해, 다른 부피가 큰 모션 캡처 시스템이 필요하지 않은 구조적 환경에서 LiDAR 오도메트리를 모사한다. 실험 결과는 실제 환경에 배치하여 알고리즘의 정확성과 견고성을 제시한다.

자율 이동 로봇의 항법 시스템은 카메라, LiDAR, 레이더와 같은 외부(보조) 감지 센서를 질감과 구조가 없는 환경에서 사용할 때 어려움이 발생하는 것으로 나타났다. 본 논문은 열화(degradation) 시나리오에서 적응적 팩터 그래프 최적화를 기반으로 하는 전방향(holonomic) 모바일 로봇을 위한 견고한 상태 추정(state estimation) 시스템을 제시한다. 특히 신경망을 사용하여 IMU 센서와 휠 엔코더(wheel encoder) 데이터만으로 관측(observation) 및 잡음(noise) 모델을 학습한다. 전방향 모바일 로봇에 대한 학습 모델을 다양한 신경망 아키텍처를 통해 고찰한다. 또한 관성-휠 엔코더(inertial-wheel encoder) 센서를 사용할 때, 더 강력한 신경망을 도입하면서도 더 저렴한 연산(컴퓨팅) 파워로 구현할 수 있음을 탐색한다. 더불어 다수의 LiDAR, 카메라, IMU, 휠 엔코더를 갖춘 산업용 전방향 로봇 플랫폼을 사용하여 실험을 수행하고, 부피가 큰 모션 캡처(motion capture) 시스템 없이도 기준 정답(ground truth)을 생성한다. 수집된 데이터셋은 이후 신경망 학습에 적용된다. 마지막으로 실험 평가 결과, 본 해법이 다른 해법에 비해 더 높은 정확도와 실시간 성능을 제공함을 제시한다. Note to Practitioners —자율 이동 로봇은 카메라, LiDAR, 레이더와 같은 외부 감지 센서가 허용되지 않는 도전적인 환경에서 견고하게 작동해야 한다. 이러한 상황에서 운용하기 위해서는 항법 시스템이 관성 센서와 휠 엔코더로서 내부(내재) 센서에 의존해야 한다. 기존의 여러 전통적 방법들은 이러한 모델을 적응시키지 않은 채 재귀적 베이지안 필터링(recursive Bayesian filtering) 기법의 형태로 내부 센서를 결합해 왔다. 또한 딥러닝 기반 해법들은 추정 문제를 처리하기 위해 LSTM 또는 CNN과 같은 광범위한 네트워크를 채택해 왔다. 본 연구의 목적은 적응적 팩터 그래프 최적화를 활용하여 내부 센서를 이용하는 전방향 모바일 로봇의 항법 시스템을 위한 상태 추정 서브시스템을 개발하는 것이다. 특히, IMU 및 휠 엔코더 팩터(factor)의 학습 관측 모델과 팩터 그래프를 효율적으로 결합하는 방법을 제시한다. 아울러 신경망을 도입하여 IMU 및 휠 엔코더 데이터 입력으로부터 관측 모델을 학습하는 방법을 제안한다. 경량 신경망은 IMU 센서와 휠 엔코더를 사용하여 딥러닝 기법보다 더 큰 성능을 달성할 수 있음을 인식한다. 마지막으로, 신경망을 팩터 그래프에 내장하여 스무딩(smoothing) 상태 추정을 처리한다. 제안된 시스템은 실시간으로도 높은 정확도를 갖고 운용될 수 있다.

본 논문은 자율주행을 위한 LIDAR 기반 3차원 점군에서 태생적으로(native) 3D 검출을 수행하여, 계산이 빠르고 정확한 프레임워크를 제안한다. 속도는 중요하며 검출은 안전을 좌우하는 필수 요소이다. 많은 접근법이 존재한다. 그러나 대부분의 방법은 고차원성과 점군의 조밀함으로 인해 막대한 계산량을 여전히 요구한다. 이에 본 연구에서는 높은 정확도와 실시간 효율을 균형 있게 달성하기 위해 향상된 단일 단계(single-stage) 키포인트 기반 3D 다중 객체 검출 프레임워크를 조사하고 신중하게 설계하였다. 난이도 높은 KITTI 데이터셋에 대한 실험 결과, AEC3D는 투영(projection) 기반 다른 성능들에 비해 주목할 만한 차이로 더 우수함을 보였다. 또한 본 방법은 임베디드 시스템에 친화적인 접근으로서, TITAN Xp와 Jetson AGX Xavier Developer Kit에서의 추론 시간은 각각 48 FPS와 14 FPS이다.

본 논문은 까다로운 농업 환경에서 자율주행차량의 정밀하고 견고한 위치추정을 달성하기 위해 설계된 새로운 단안 비전-관성 항법(visual-inertial odometry, VIO) 시스템을 제안한다. 불안정하고 저텍스처 특징이 성능을 저하시킬 수 있는 농업 환경에서, 기존 VIO 방법들과 달리 제안 접근법은 도시 환경 및 구조화된 환경을 주로 최적화한 기존 연구와 달리 조명, 식생에 의한 가림(occlusion), 불규칙한 지형과 같은 농업 지형의 고유한 문제에 특화하여 이를 해결하고자 한다. 견고성과 정밀도를 향상시키기 위해, 본 시스템은 오차 상태 칼만 필터(error state Kalman filter, ESKF)를 기반으로 한 자세 추정을 통합하여 시각적으로 열화된 조건에서도 IMU 선통합(IMU preintegration) 정확도를 개선한다. 또한, 저텍스처 환경의 영향을 완화하고 3D 맵 포인트의 왜곡을 제거하기 위해 IMU 운동 데이터를 활용하는 맵 포인트 보정 기법을 도입한다. 이러한 성과들을 긴밀히 결합함으로써, 제안 시스템은 자세 추정에서의 견고성과 정확도를 동시에 달성한다. 본 방법의 유효성은 다양한 시나리오에 대해 실시간 실험을 통해 검증되었으며, 그 결과 위치추정 정밀도와 안정성 측면에서 최신 VIO 알고리즘들에 비해 우수함이 입증되었다.

시각 항법(Visual Odometry, VO)의 효율성은 특징 추출, 특징 매칭, 견고한 변위 추정 등 다양한 순차적 구성 요소로부터 구축된다. 최근에는 이러한 구성 요소들을 대체하는 방안으로 학습 기반 솔루션을 선호하는 연구들이 다수 등장하였다. 한편, 이러한 솔루션은 모듈형 향상에 대한 특정 요구를 충족시키기 위해 연구자들에게 유연성을 제공한다. 이를 위해 본 설문 논문은 학습 기반 방법의 발전 양상을 탐색하고, 그것들이 전통적인 VO 파이프라인에 어떻게 관여할 수 있는지를 고찰한다. 이러한 접근은 딥러닝의 관점을 통해 개별 VO 구성 요소를 단계적으로 발전시키고 더 깊이 탐구할 수 있게 하며, 또한 기준(baseline)에 모듈 방식으로 적용될 때 새로이 등장하는 추가 알고리즘을 가능하게 한다. 더 나아가 본 설문은 카메라 운동을 영상으로부터 직접 학습하여 VO 과정을 간소화하는 엔드-투-엔드(end-to-end) 방법까지 확장한다. 이러한 전체론적 접근은 VO 파이프라인을 단순화하면서, 데이터 내 복잡한 관계를 암묵적으로 모델링하기 위해 DNN의 장점을 활용한다. 궁극적으로 본 논문은 엔드-투-엔드 VO 모델이나 파이프라인 성능을 향상시키는 데 핵심적인 다양한 공통 최적화 함수와 일반화된 방법을 다룬다. 이 두 접근을 서로 대비함으로써, 본 논문은 주요 기준에 대한 DVO 접근 및 이를 지지하는 보조 과업 전반에 대한 포괄적 개관을 제공하는 것을 목표로 한다.

본 연구는 센서 융합 기법의 강점을 활용하여 동시 위치 추정 및 실시간 포토리얼(photorealistic) 지도 생성을 가능하게 하는 견고한 프레임워크 FusionGS-SLAM을 제시한다. 이를 위해 제안 방법은 향상된 하위 시스템으로부터의 여러 요인을 효과적으로 결합하기 위해, 밀결합(tightly-coupled) 기법을 사용함으로써 하류(downstream) 과제를 위한 견고한 오도메트리(odometry)를 생성한다. 또한 센서 모달리티 전반의 기하학적 정보를 활용하여 조밀한 3D 가우시안(dense 3D Gaussian) 맵을 구성하고, 대규모이며 도전적인 환경에서도 견고성과 렌더링 품질을 향상시키도록 설계된 실시간 매핑 전략을 도입한다. 공용(public) 및 자가 수집(self-collected) 데이터셋을 포함한 다양한 도전적인 장면에 대한 실험 평가는, 현존하는 최신 3DGS SLAM에 비해 우수한 성능을 보여준다.