오픈보카블 3D 인식과 시공간 경로 추정: 의미 제약 기반 3D 디텍션 및 궤적 정련

Open-vocabulary 3D Perception and Spatiotemporal Trajectory Refinement

연구 내용

의미 제약을 통합해 오픈보카블 3D 디텍션을 안정화하고 경로 추정을 정련하는 연구

본 분야는 다중 시점 RGB 관측에서 오픈보카블 3D object detection을 수행할 때, 기하 일관성만으로 병합하면 발생하는 오버-머징을 완화하는 데 집중합니다. 멀티모달 LLM이 생성한 장면 적응형 보카블리를 의미 호환 그룹으로 조직하고, 프래그먼트 병합 단계에서 semantic compatibility와 기하 조건을 동시에 만족하는 경우만 결합하도록 제약합니다. 또한 영상 기반 경로 또는 궤적을 대상으로 convolutional neural network 기반 정련을 수행해 추정의 안정성을 높입니다. 이러한 방법들은 도시 환경 분석과 자율주행 유사 태스크에서 시공간적 추정 품질을 향상하는 방향으로 연결됩니다.

관련 프로젝트

2건

연구 흐름

초기에는 시퀀스 또는 경로에서 발생하는 추정 오차를 보정하기 위해 convolutional neural network 기반 trajectory refinement 구조를 검토했습니다. 이후 3D 인식으로 확장하면서, RGB 멀티뷰에서 객체 병합이 의미 없이 기하만으로 진행될 때 생기는 오류를 분석하고 의미 제약을 병합 과정에 포함하는 프레임워크를 구성했습니다. 최근에는 오픈보카블 설정에서 범주 변동을 흡수하기 위해 장면 적응형 보카블리를 MLLM 기반으로 구성하고, 의미 호환 그룹을 merge-time constraint로 적용하는 연구를 수행했습니다. 동시에 CCTV 기반 침수 위험 탐지 및 스마트자동차 인력양성 과제를 통해 적용 시나리오를 구체화했습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

오픈보카블 3D 디텍션 파이프라인
의미 제약 병합 전략
다중 시점 객체 분할 안정화
기하-의미 결합 학습 설계
궤적 정련 모듈
자율주행 경로 추정 보조
도시 CCTV 기반 위험도 분석
시공간 침수심 추정 전처리
장면 적응형 보카블 생성
제로샷/오픈셋 3D 인식 평가