(1) Object Classification 및 Tracking 연구 o 1차 년도: 객체 학습용 데이터 구조 및 CNN 모델 연구 - SLAM에서 센싱된 RGB 영상 및 LiDAR Point Cloud 데이터간의 객체 영역 매칭 및 Calibration 기법 연구 - Point Cloud 데이터로부터 Convolution 기반 Feature 추출을 위한 2D Geometric Encoding 기법 연구 - RGB 영상 및 Point Cloud 데이터 융합 딥러닝을 위한 Deep Residual 구조 기반 CNN 모델 설계 - KITTI, ImageNet, Udacity, VOC 등 Ground Truth 데이터 기반의 초기 객체 학습을 위한 데이터셋 구축 - 객체 학습 CNN 모델 구축 및 Ground Truth 데이터셋 기반 객체 인식 테스트 수행 o 2차 년도: 점진적 자가 훈련 기반 객체 학습 및 인식 기법 연구 - Supervised Incremental 객체 학습을 위한 CNN 네트워크 Ensemble 구조 연구 - CNN 네트워크 Emsemble 구조를 반영한 효율적 Incremental Self-Training 학습 알고리즘 개발 - Self-Training을 위한 Classification Confidence 평가 및 Automated Annotation 기법 개발 - Ensemble Classifier의 출력을 기반으로 객체 인식을 위한 최적 추론 기법 개발 - SLAM 모듈과 통합을 위한 점진적 자가 훈련 기반 객체 학습 및 인식 모듈 프로토타입 구현 o 3차 년도: 딥러닝 기반 동적 객체 탐지 및 정밀 추적 기법 연구 - 객체 인식 정보 및 Localization/맵 정보 융합을 통한 동적 객체 탐지 알고리즘 개발 - 다중 객체 인식 기반 Tracking by Detection 기법 및 Kalman Filter 융합 추적 기법 개발 - 객체 영상 및 Depth 정보를 융합한 최적 IoU(Intersection over Union) 기반 정밀 객체 영역 추정 기법 개발 - SLAM 모듈과 최종 통합, 자율주행 테스트베드상에서 시험 및 평가를 통한 성능 최적화 (2) Localization 및 Mapping 연구 o 1차년도: 센서융합기반 정밀 객체 분할 및 시멘틱 객체 수준 계층적 Landmark 구조 설계 - 3D LiDAR & Camera 센서 융합 정보 취득을 위한 센서간 캘리브레이션 기술 개발 - 3D LiDAR의 Sparse to Dense Point Cloud 정보 가공 및 영상 정합을 통한 RGB-D(Depth) 정보 취득 기술 개발 - Conditional Random Field(CRF)기반 3차원 정밀 객체 분할 및 Unlabeled 객체 정보 표현 기술 개발 - 시멘틱 객체 수준 계층적 Landmark 구조 설계 및 객체 구분을 위한 Tree-Based Set of Descriptors 표현 기술 개발 o 2차년도: 환경변화에 강인한 시멘틱 정보 기반 Loop Closure 검출 기술 연구 - 날씨, 계절 등 환경변화에 강인한 영상 특징 검출을 위한 Illumination Invariant Transformation 기반 특징 검출 및 매칭 기술 개발 - 시멘틱 객체 수준 계층적 Landmark을 활용한 Factor Graph SLAM 구조 기반의 Object Classification & Tracking 융합 Localization and Mapping 프레임워크 연구 - Factor graph의 Sequential Node Group간의 시멘틱 객체의 시공간(Spatio-Temporal) 상관관계 도출 및 False Positive 검증을 통한 강인한 Loop Closure 검출 기술 개발 o 3차년도: 동적환경에 강인한 SL2M 통합 구조 및 백엔드(Back-End) 최적화 알고리즘 연구 - 객체 추적 방법에 따라 시간에 따른 객체의 위치 분석에 따라 Static/Semi-Static/Dynamic 객체 구분 및 Label 부여 - 센서융합 기반 다중 시멘틱 객체의 3차원 동시 추적 기술 개발 - 백엔드(Back-End) 최적화를 위한 시멘틱 객체 기반 최적화 문제 정의 및 Graph Optimizer 구현을 통한 지도 최적화 기술 개발 - 동적환경에 강인한 SL2M 통합 구조 구현 및 성능 검증