특허 개요
본 특허는 차량의 카메라 영상과 도로 구조 정보를 함께 활용하는 다중 모드 장소 인식 기술입니다. 서라운드 뷰 이미지에서는 시각적 전역 특징을 추출하고, 폴리라인 도로 표시를 그래프로 표현한 벡터화 고정밀 지도(HD map)에서는 계층적 그래프 신경망(GNN)으로 기하·구조 특징을 추출합니다. 두 특징은 인스턴스·레이어별 이중 정규화 후 셀프 어텐션 및 트랜스포머 인코더 기반 융합 네트워크에서 결합되어 현재 장소와 유사한 위치를 식별합니다.
- 핵심 기능
카메라 이미지 특징 추출기와 벡터화 지역 지도 특징 추출기가 각각의 전역 특징을 병렬로 생성합니다. 이후 융합 특징 추출기가 두 특징의 표현 차이를 정규화하고 셀프 어텐션 기반으로 결합해 장소 인식 결과를 산출합니다.
- 차별 강점
기존 이미지 기반 장소 인식은 동적 객체, 공사 현장 변화, 반복적인 건물·가로등 외관에 영향을 받을 수 있고 기하 정보를 직접 활용하기 어렵습니다. 본 기술은 래스터화 지도 대신 폴리라인 그래프 기반 벡터화 HD 지도의 구조적 단서를 결합해 이미지 단독 방식의 한계를 보완하며, 지도·이미지·융합 모듈을 분리해 기존 이미지 기반 방법론과의 결합 가능성을 제공합니다.
- 활용 범위
기술·연구 측면에서는 자율주행차의 초기 위치 추정·위치 재추정, GNSS 취약 도심 환경의 차량 위치 인식, 자율주행 로봇의 장소 인식 및 루프 감지에 활용 가능하며, 온라인 고정밀 지도 구축과 연계한 위치 인식으로 확장할 수 있습니다. 사업 측면에서는 자율주행 소프트웨어, 첨단 운전자 보조 시스템, 로봇 배송·물류 플랫폼, 정밀 지도 기반 모빌리티 서비스에 적용할 수 있습니다.
연구 개발 단계
NuScenes 및 Argoverse2 데이터셋에서 벡터화 HD 지도와 서라운드 뷰 이미지를 결합한 장소 인식 시스템을 이미지 기반 NetVLAD, Patch-NetVLAD, GeM 방식과 비교 평가했습니다. 지도 마스킹 조건에서의 강건성도 확인했으나, 실제 차량 탑재 환경의 장기 운용과 센서 가림·조명 변화 조건에서의 재현성은 추가 검증이 필요합니다.
- 평가 데이터: NuScenes 약 3만4천 프레임·4개 도시, Argoverse2 약 33만 프레임·5개 도시의 축소 데이터
- 비교 기준: 이미지 기반 NetVLAD, Patch-NetVLAD, GeM 장소 인식 방식
- 입력 조건: 완전 지도와 20%·50% 지도 마스킹 조건의 벡터화 HD 지도·서라운드 뷰 이미지
현재 성과
NuScenes와 Argoverse2 데이터셋에서 이미지 특징과 벡터화 지도 특징을 융합한 장소 인식 정확도가 기존 이미지 기반 NetVLAD 및 GeM 기준보다 최대 6.48%p 향상됐습니다. 이미지의 시각 단서와 지도의 기하·구조 단서를 함께 사용해 반복 구조물, 동적 객체, 공사 환경에서의 인식 보완을 목표로 합니다.
NuScenes 및 Argoverse2 데이터셋에서 이미지 기반 방법론과 비교하고, 완전 지도 및 20%·50% 지도 마스킹 조건으로 입력 불완전성에 대한 평가를 수행했습니다. 지도 특징 추출자와 융합 특징 추출자를 추가한 처리 효율과 지도 손상 상황의 장소 인식 결과를 함께 확인했습니다.
래스터화 지도 대신 폴리라인 그래프로 표현한 벡터화 HD 지도를 사용하고, 계층적 GNN으로 지도 전역 특징을 추출하는 구조가 핵심입니다. 이중 정규화와 셀프 어텐션 기반 융합으로 이미지와 지도 모달리티를 결합해 이미지 단독 또는 지도 단독 인식의 모호성을 줄이도록 설계했습니다.
상용화까지 남은 부분
실제 차량 탑재 환경에서 장기 운용 시 장소 인식 정확도·처리 지연·운용 안정성 검증
실시간 로컬 HD 지도 예측 또는 온라인 지도 갱신 체계와 통합했을 때의 위치 인식 성능 검증
지도 최신성 저하, 센서 가림, 조명·날씨 변화 등 실제 도로 조건에서의 재현성 및 강건성 확보
기술 이전 형태·도입 과정
도입은 이렇게 진행됩니다.
검토 미팅
귀사 상황·데이터 구조 기준으로 적합성을 논의합니다. 자료 검토만으로 끝나도 됩니다.
PoC 공동 검증
연구팀 동행 하에 귀사 데이터 기준 재학습·성능을 확인합니다.
라이센싱 계약
PoC 결과를 기반으로 희망 형태(실시권·공동연구 등)를 협의합니다.
기술지도·후속
도입 초기 기술지도, 필요 시 후속 공동연구·정부과제 연계까지 진행합니다.
특허 정보
자율주행을 위한 벡터화 고정밀 지도와 이미지를 이용한 다중 모드 장소 인식 방법 및 그 시스템
10-2024-0038340 (2024.03.20)
1028033380000 (2025.04.28)
금동석 (한국과학기술원), 정현준 (한국과학기술원)
한국과학기술원
한국과학기술원