다중 카메라 비전 오도메트리와 3D 객체 인식 기반 로봇 지각

Multi-camera Visual Odometry and 3D Object Detection for Robot Perception

연구 내용

다중 카메라 협업 구조에서 특징 추적과 계산량을 제어해 옴니방향 비전 오도메트리를 구성하고, 라이다 기반 3D 객체 검출을 결합하는 연구

비전 기반 로컬라이제이션에서 안정적인 특징이 부족한 환경에서 실패가 증가하는 문제를 다룹니다. 옴니방향 관점을 제공하는 spherical camera 기반 multi-camera 모델을 구성하고, 카메라 간 특징 추적을 통해 센서 실패나 부분 가림 상황에서도 궤적 추정의 연속성을 확보합니다. 동시에 계산량 증가를 제한하기 위해 feature prioritization과 multi-view pose refinement를 적용합니다. 더불어 라이다 포인트클라우드에서 3D 멀티오브젝트 검출을 수행해 안전 인지 입력을 제공하는 방향으로 지각 파이프라인을 확장합니다. 고성능 컴퓨팅 및 실시간 추론 요구를 고려합니다.

관련 프로젝트

4건

연구 흐름

초기에는 전통적인 단안 또는 단일 카메라 시각 오도메트리가 복잡 환경에서 안정성을 확보하기 어렵다는 관찰을 바탕으로, multi-camera collaboration을 통해 특징 추적 실패를 줄이는 구조를 연구했습니다. 이후 특징 수 증가로 인한 복잡도 문제를 해결하기 위해 feature prioritization과 pose refinement 모듈을 설계해 제한된 계산 자원에서도 동작하도록 개선했습니다. 병행하여 3D 포인트클라우드 기반 single stage 3D multiobject detection 프레임을 구성해 실시간 안전 인지 요소를 추가했습니다. 이러한 지각 모듈은 서비스로봇 핵심 기술 과제의 로봇 인공지능SW 및 하드웨어 플랫폼 고도화와 연결됩니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

옴니방향 비전 오도메트리
다중 카메라 특징 협업
특징 우선순위 기반 경량화
복잡 조명 환경 위치추정
라이다 포인트클라우드 3D 객체 인식
실시간 3D 탐지 파이프라인
자율이동 장애물 인지 입력
서비스로봇 지각 모듈 통합
임베디드 추론 최적화
실외 주행 데이터셋 생성