카메라-라이다 센서퓨전과 비전 트래킹을 통한 물체 인지·추정 및 야간 자율주행

Object Recognition and Tracking via Camera-LiDAR Sensor Fusion and Vision-based Tracking for Night-time Autonomy

연구 내용

IMM-KF 기반 센서 오차 특성 모델링과 트랜스포머 기반 트래킹을 결합해 자율 로봇의 물체 인지·추정을 안정화하는 연구

자율주행 및 자율 로봇 환경에서 정확한 물체 인식·추정이 요구됨에 따라 카메라와 LiDAR 센서를 결합한 센서퓨전 기법을 구성합니다. 카메라-라이다 캘리브레이션 후, 카메라 딥러닝 기반 바운딩박스와 LiDAR 데이터를 데이터 연관으로 정합합니다. 단일 센서의 측정 한계를 분석해 거리 측정 오차 특성을 반영한 측정 잡음 공분산을 설정하고, Interacting Multiple Model 기반 Kalman Filter로 상태 추정을 수행하여 시야 확장과 추정 정확도 향상을 도모합니다. 또한 트랜스포머 보강 Siamese tracker에서 confidence-aware regression과 confidence-gated template update를 적용해 가림과 배경 혼잡에서도 추적 안정성을 유지합니다.

관련 프로젝트

5건

연구 흐름

센서퓨전 연구는 먼저 카메라와 LiDAR의 캘리브레이션 및 데이터 연관 절차를 확립하고, 센서별 거리 측정 오차를 분석해 IMM-KF에 반영하는 방식으로 전개되었습니다. 이후 다양한 시나리오에서 추정 품질을 개선하는 방향으로 실험 기반 검증을 수행했습니다. 비전 트래킹에서는 정적 템플릿의 한계를 보완하기 위해 멀티스케일 특징 추출과 트랜스포머 기반 전역 어텐션 모듈을 결합했습니다. 최근에는 confidence-aware 가지를 통해 추정 신뢰도를 반영하고, confidence-gated 방식으로 템플릿을 선택적으로 갱신하여 드리프트를 줄이는 구조로 발전시켰습니다. 프로젝트에서는 야간 시인성 개선 룸미러와 open set 분류 기반 데이터 기반 최적화, 서비스 로봇 플랫폼 실증을 병행했습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

카메라-라이다 기반 물체 추정
데이터 연관 기반 다중센서 융합
가림 환경 추적 안정화
야간 주행 시인성 개선
Open set 분류 기반 주행 최적화
자율 로봇 서비스 실증
신뢰도 기반 추정 모듈
템플릿 갱신에 의한 드리프트 억제
시나리오 기반 추정 검증
센서 오차 특성 모델링