카메라 시스템의 동적 환경에 강인한 자기 위치 추정 장치 및 그 방법

TRL 4
2023 출원, 등록 심사 중

카메라 영상과 움직임 센서 정보를 함께 사용해 사람이나 차량처럼 움직이는 물체가 많은 곳에서도 카메라가 현재 어디에 있는지를 추정하는 기술입니다. 움직이는 물체에서 얻은 단서를 줄이고 같은 장소를 본 영상들을 다시 비교해 위치 오차와 잘못된 장소 인식의 영향을 낮추도록 설계한 특허입니다.

특허 개요

본 특허는 사람·차량 등 움직이는 대상이 많은 환경에서 카메라의 위치를 추정하는 비전·관성 융합 자기 위치 추정 기술입니다. 이동창 기반의 강인한 번들 조정에서 IMU 사전 통합 정보와 영상 특징점의 차이를 정규화 계수로 반영하고, 이전 가중치와의 차이에 패널티를 주는 가중치 모멘텀 계수로 동적 특징점의 비중을 낮춥니다. 이후 공유 특징점 수로 키프레임을 그룹화하고 DBoW2 매칭, 다중 가설 클러스터링 및 선택적 전역 최적화를 수행해 전역 위치 정보를 보정합니다.

  • 핵심 기능

카메라 영상의 특징점을 추적하고 IMU의 가속도·각속도 데이터를 사전 통합한 뒤, 국소 최적화에서 두 정보와 일치하지 않는 동적 특징점의 가중치를 낮춰 위치를 추정합니다. 전역 최적화에서는 공유 특징점이 있는 키프레임을 묶어 매칭 결과를 가설별로 분류하고, 기존 위치 정보를 가장 잘 반영하는 가설을 선택해 전역 위치를 최적화합니다.

  • 차별 강점

기존 위치 추정은 마커 태그나 UWB 등 별도 인프라를 설치해야 하거나, 정적 환경을 전제로 해 동적 물체와 임시 정적 물체의 영향을 받기 쉬웠습니다. 본 기술은 정규화 계수와 가중치 모멘텀 계수를 결합한 국소 강인 최적화와 공유 특징점 기반 전역 가설 선택을 함께 적용해 동적 특징점 및 거짓 양성 루프 클로저의 영향을 줄이는 방식입니다.

  • 활용 범위

기술·연구 측면에서는 실내외 자율주행 로봇, 군중 환경 이동 로봇, 카메라 기반 SLAM, 비전·관성 오도메트리, 증강현실·혼합현실 공간 인식 분야에 활용 가능하며, 동적 장면에서의 위치 인식 알고리즘 고도화에 적용할 수 있습니다. 사업 측면에서는 물류·서비스 로봇, 자율 이동체, AR·MR 기기, 영상 기반 공간 인식 솔루션 등 별도 위치 인프라 의존도를 낮추려는 제품과 서비스로 확장할 수 있습니다.

연구 개발 단계

TRL 1
기초 원리
TRL 2
개념 정립
TRL 3
개념 검증
TRL 4
실험실 검증
TRL 5
유사 환경
TRL 6
시제품
TRL 7
실증
TRL 8
인증완료
TRL 9
사업화
TRL4알고리즘 구조와 동작 원리가 명세서에 제시된 단계입니다.
현재 검증 내용

명세서는 정규화 계수와 가중치 모멘텀 계수를 이용한 국소 최적화, 키프레임 그룹화와 다중 가설 클러스터링을 이용한 전역 최적화의 동작 구조를 제시합니다. 동적 환경 데이터셋별 위치 정확도, 드리프트 감소량, 처리시간 및 센서 구성별 재현성에 대한 정량 실증은 제시되지 않았습니다.

현재 성과

성능·효과
동적 특징점 영향 저감 기반 위치 추정

동적 물체가 화면의 대부분을 차지하는 경우에도 일부 정적 객체 특징점과 관성 센서 정보를 이용해 자기 위치를 추정하도록 구성됩니다. 정규화 계수와 가중치 모멘텀 계수로 동적 특징점의 비중을 낮추는 것이 핵심입니다. 실제 위치 정확도와 드리프트 개선 수준은 PoC에서 확인이 필요합니다.

검증·신뢰
국소·전역 최적화 연계 구조

명세서에는 모노 또는 스테레오 영상의 특징점 추적, IMU 가속도·각속도 사전 통합, 이동창 기반 국소 최적화 및 키프레임 기반 전역 최적화 절차가 제시됩니다. 공유 특징점 기반 그룹화와 매칭 결과 클러스터링으로 전역 위치 정보를 갱신합니다. 실제 데이터셋과 실환경에서의 반복 검증 결과는 제공되지 않았습니다.

차별성·독창성
동적 객체와 임시 정적 객체에 대응하는 가설 선택

일반적인 강인 손실 기반 이상치 처리의 한계와 임시 정적 객체로 인한 거짓 양성 루프 클로저 문제를 대상으로 합니다. 이전 가중치를 반영하는 모멘텀 항과 다중 가설 클러스터링·선택적 최적화를 결합한 점이 차별 요소입니다. 이를 통해 기존 정보를 충분히 반영하지 못하는 가설의 영향을 줄이도록 설계됩니다.

상용화까지 남은 부분

1

동적 환경 데이터셋별 위치 정확도, 궤적 드리프트 감소량, 처리시간에 대한 정량 성능 검증

2

모노·스테레오 카메라와 IMU 조합별 재현성 및 센서 동기화·보정 조건 검증

3

실내외 장기 운용 환경에서 동적 객체 밀도, 조도 변화, 임시 정적 객체에 대한 안정성 검증

기술 이전 형태·도입 과정

기술양도
전용실시권
통상실시권
공동 과제 수행
기술지도·자문

도입은 이렇게 진행됩니다.

1

검토 미팅

귀사 상황·데이터 구조 기준으로 적합성을 논의합니다. 자료 검토만으로 끝나도 됩니다.

2

PoC 공동 검증

연구팀 동행 하에 귀사 데이터 기준 재학습·성능을 확인합니다.

3

라이센싱 계약

PoC 결과를 기반으로 희망 형태(실시권·공동연구 등)를 협의합니다.

4

기술지도·후속

도입 초기 기술지도, 필요 시 후속 공동연구·정부과제 연계까지 진행합니다.

특허 정보

발명의 명칭(KR)

카메라 시스템의 동적 환경에 강인한 자기 위치 추정 장치 및 그 방법

출원번호

10-2023-0110669 (2023.08.23)

공개번호

1020250029575 (2025.03.05)

등록번호

미등록 (심사 중)

발명자

명현 (한국과학기술원), 송승원 (한국과학기술원)

출원인

한국과학기술원

문의

담당자이준구
이메일jg.lee@rndcircle.io
연락처010-8978-6417