자율주행을 위한 멀티모달 센서 퓨전 기반 지각

Multimodal Sensor Fusion for Autonomous Driving Perception

연구 내용

RGB 카메라와 event 카메라, 레이더를 결합해 환경의 공간·시간 구조를 학습하고 주행 경로와 조향 제어를 예측하는 연구

자율주행 지각에서 센서별 한계를 완화하기 위해 멀티모달 입력을 통합하는 학습 구조를 구성합니다. frame 기반 RGB와 event의 특징을 인코더-디코더 형태로 추출한 뒤 self-attention 기반 융합 메커니즘으로 표현을 결합하여 측면 제어 신호를 예측합니다. 또한 레이더의 희소 관측과 노이즈 특성을 반영해, 가우시안 과정 기반 occupancy mapping을 수행하고 허용 영역을 추정하여 주행 가능 경로를 산출합니다. 다양한 도로 및 기상 조건에서의 일반화 검증을 통해 실사용 조건의 제약을 고려합니다.

관련 프로젝트

0건

연구 흐름

초기에는 자율주행 주변 인식을 위해 센서 관측의 불완전성을 전제로, 인식 성능을 높일 수 있는 멀티모달 학습 구성을 탐색했습니다. 이후 RGB와 event를 함께 사용하는 엔드투엔드 지각 구조를 구축하고, 인코더 단계에서 self-attention으로 융합하는 방식으로 조향 예측 정확도를 향상했습니다. 동시에 레이더 기반 접근에서는 풍부한 데이터 의존을 낮추기 위해 가우시안 과정의 변형 및 커널 기반 최적화를 적용하여 occupancy와 주행 가능 영역을 추정했습니다. 최근에는 실제 및 시뮬레이션 데이터로 성능을 교차 검증하는 흐름을 강화했습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

주행 경로 추정
측면 제어 예측
기상·조도 변화 대응
레이더 기반 occupancy 추정
센서 융합 학습 프레임워크
엔드투엔드 자율주행 지각
노이즈 강건한 경로 생성
이벤트 기반 시각 정보 활용
저비용 센서 구성 최적화
실차 검증용 데이터 파이프라인