o 전장 환경에서 협업지능 기반의 실시간 전역 상황인지 기술 연구 - 전장 환경 표현을 위한 객체 및 시공간 모델링 기술 연구 개발 - 전장 환경에서 상황인지를 위한 딥러닝 모델 및 알고리즘 연구 개발 - 전장 환경에서 상황 예측을 위한 딥러닝 모델 구조, 알고리즘 확장 및 성능 최적화 기술 개발 - 전장 시뮬레이션 게임 및 테스트베드 환경에서 기술의 유효성 검증 o 정량적 성능 목표치 - 전장 상황인지 정확도: 95% 이상 - 전장 상황인지 처리속도: 30FPS 이상 - 인지 가능한 전장 상황 개수: 10종 이상

본 과제는 서비스 로봇이 많은 양의 센서 정보를 실시간으로 처리하고 딥러닝 기술을 활용하여 주변 상황을 인지하며 똑똑하게 움직일 수 있도록 돕는 인공지능 컴퓨팅 플랫폼 기술을 개발하는 연구임. 이 플랫폼은 로봇이 더 빠르고 정확하게 판단하고 행동하게 만드는 핵심 두뇌 역할을 수행함. 연구 목표는 기본형 및 고급형 로봇 플랫폼의 통합 규격인증 및 신뢰성 시험을 완료하고, 로봇 적용 성능 시험 및 시범 서비스를 통해 실시간 처리 가능한 로봇 소프트웨어 플랫폼을 구축하는 데 있음. 더불어, 상용화 알고리즘 최적화와 센서 데이터 융합 기반 상황인지 시스템 개발을 목표로 함. 핵심 연구 내용은 통합 신뢰성 및 성능 시험 진행, 개인 및 산업용 로봇에 대한 통합 성능 시험 및 디버깅 수행임. 실시간 운영체제 커널 지원 및 인공지능 소프트웨어 플랫폼 통합을 통한 운영체제 및 미들웨어 플랫폼의 실시간 기능 검증을 포함함. 또한, 영상 및 센서 데이터 동기화와 DNN 모델 개발을 통해 상황 인지 기술을 고도화하고, 객체 위치 및 공간 관계 파악 기술 개발, HW 플랫폼에 최적화된 DNN 모델 연구를 수행함. 기대 효과는 기본형과 고급형 로봇 플랫폼 보드의 양산화를 통한 시장 경쟁력 확보 및 교육용 보급화 선도임. 클라우드 학습 기반 실시간 객체 인식 기능과 다양한 SW 플랫폼 지원으로 범 이기종 고성능 딥러닝 인공지능 소프트웨어 플랫폼을 완성하여 국내외 로봇 시장에서 폭넓게 활용될 수 있는 기반을 제공할 것으로 전망됨.

(1) Object Classification 및 Tracking 연구 o 1차 년도: 객체 학습용 데이터 구조 및 CNN 모델 연구 - SLAM에서 센싱된 RGB 영상 및 LiDAR Point Cloud 데이터간의 객체 영역 매칭 및 Calibration 기법 연구 - Point Cloud 데이터로부터 Convolution 기반 Feature 추출을 위한 2D Geometric Encoding 기법 연구 - RGB 영상 및 Point Cloud 데이터 융합 딥러닝을 위한 Deep Residual 구조 기반 CNN 모델 설계 - KITTI, ImageNet, Udacity, VOC 등 Ground Truth 데이터 기반의 초기 객체 학습을 위한 데이터셋 구축 - 객체 학습 CNN 모델 구축 및 Ground Truth 데이터셋 기반 객체 인식 테스트 수행 o 2차 년도: 점진적 자가 훈련 기반 객체 학습 및 인식 기법 연구 - Supervised Incremental 객체 학습을 위한 CNN 네트워크 Ensemble 구조 연구 - CNN 네트워크 Emsemble 구조를 반영한 효율적 Incremental Self-Training 학습 알고리즘 개발 - Self-Training을 위한 Classification Confidence 평가 및 Automated Annotation 기법 개발 - Ensemble Classifier의 출력을 기반으로 객체 인식을 위한 최적 추론 기법 개발 - SLAM 모듈과 통합을 위한 점진적 자가 훈련 기반 객체 학습 및 인식 모듈 프로토타입 구현 o 3차 년도: 딥러닝 기반 동적 객체 탐지 및 정밀 추적 기법 연구 - 객체 인식 정보 및 Localization/맵 정보 융합을 통한 동적 객체 탐지 알고리즘 개발 - 다중 객체 인식 기반 Tracking by Detection 기법 및 Kalman Filter 융합 추적 기법 개발 - 객체 영상 및 Depth 정보를 융합한 최적 IoU(Intersection over Union) 기반 정밀 객체 영역 추정 기법 개발 - SLAM 모듈과 최종 통합, 자율주행 테스트베드상에서 시험 및 평가를 통한 성능 최적화 (2) Localization 및 Mapping 연구 o 1차년도: 센서융합기반 정밀 객체 분할 및 시멘틱 객체 수준 계층적 Landmark 구조 설계 - 3D LiDAR & Camera 센서 융합 정보 취득을 위한 센서간 캘리브레이션 기술 개발 - 3D LiDAR의 Sparse to Dense Point Cloud 정보 가공 및 영상 정합을 통한 RGB-D(Depth) 정보 취득 기술 개발 - Conditional Random Field(CRF)기반 3차원 정밀 객체 분할 및 Unlabeled 객체 정보 표현 기술 개발 - 시멘틱 객체 수준 계층적 Landmark 구조 설계 및 객체 구분을 위한 Tree-Based Set of Descriptors 표현 기술 개발 o 2차년도: 환경변화에 강인한 시멘틱 정보 기반 Loop Closure 검출 기술 연구 - 날씨, 계절 등 환경변화에 강인한 영상 특징 검출을 위한 Illumination Invariant Transformation 기반 특징 검출 및 매칭 기술 개발 - 시멘틱 객체 수준 계층적 Landmark을 활용한 Factor Graph SLAM 구조 기반의 Object Classification & Tracking 융합 Localization and Mapping 프레임워크 연구 - Factor graph의 Sequential Node Group간의 시멘틱 객체의 시공간(Spatio-Temporal) 상관관계 도출 및 False Positive 검증을 통한 강인한 Loop Closure 검출 기술 개발 o 3차년도: 동적환경에 강인한 SL2M 통합 구조 및 백엔드(Back-End) 최적화 알고리즘 연구 - 객체 추적 방법에 따라 시간에 따른 객체의 위치 분석에 따라 Static/Semi-Static/Dynamic 객체 구분 및 Label 부여 - 센서융합 기반 다중 시멘틱 객체의 3차원 동시 추적 기술 개발 - 백엔드(Back-End) 최적화를 위한 시멘틱 객체 기반 최적화 문제 정의 및 Graph Optimizer 구현을 통한 지도 최적화 기술 개발 - 동적환경에 강인한 SL2M 통합 구조 구현 및 성능 검증

상기의 연구목표 달성을 위해 “CLAIR-553” 연구개발을 추진하는 것으로, 즉, 5대 세부 과제(공동과제 4개 및 융합과제 1개)를 통해 지능정보서비스 지향의 고성능 하이브리드 클라우드 컴퓨팅 5대 핵심 기술(이종연동, 고성능화, 지능화, 자동화, 가상화), 3대 융합 응용 제품(감성지능 큐레이션, 지능형 방송제작, 창의융합 교육)을 연구개발하고 본연구를 토대로 5,6차년도에는 사업화를 추진 계획. * 인공지능클라우드 기반 기술연구 - 이종 클라우드 인프라 상의 컨테이너 연동을 위한 하이브리드 브로커 및 플랫폼 기술 개발 - 클라우드 상에서의 기계학습 지원 기술 및 플랫폼 내재화를 위한 기계학습 서비스팩 개발 - 베어메탈 상의 클라우드 인프라 설치 자동화 기술 개발 - 분산 포그 시스템 기반 지능형 어시스턴트 시스템 구축 자동화 및 챗봇생성 자동화연구 - GPU 가상화를 통한 인프라 고성능화 기술 개발 - 컨테이너의 고성능 장치 연계를 통한 고성능 워크로드 지원 가상화 기술 개발 - 지능 정보서비스를 위한 클라우드 계산 자원 관리 기술 연구 - 창의융합 교육 등 지능정보서비스 지향의 SaaS 개발 * 인공지능클라우드 기반 서비스 개발 - 클라우드 기반의 동영상 강의용 멀티챗봇 플랫폼 및 챗봇 서비스 개발 - 클라우드 기반의 인공지능형 치매관리 서비스 개발 - 클라우드 기반의 자율주행차 및 지능형로봇 응용 개발 지원 서비스 개발