본 과제는 변형하는 물체를 포함한 동영상에 대한 deformable NeRF를 학습하기 위한 새로운 방법을 제시한다. NeRF의 대표적인 한계점은 (a) 높은 계산량과 (b) 장면 내 물체의 정지 가정이다. 최근 연구들은 NeRF내의 인공신경망을 학습가능한 voxel grid로 교체함으로써, 비슷한 성능을 유지하면서도 수십배에서 100배까지 속도개선을 이룰...
● 다중 영상 기반 인식시스템을 활용해서 뇌졸중 및 파킨슨병 환자에서 데이터 수집 및 개인 맞춤형 운동 프로 그램 개발● 다양한 인식시스템에서 획득한 정보를 활용한 노인성 신경질환 진단 네트워크 개발 및 진단의 정확도를 높이기 위한 AI 기술 적용● 키오스크 기반의 시제품 개발 및 다기관 임상시험 수행● 인허가 획득 및 시범사업 실시
비강체 복원은 영상으로부터 획득된 물체의 2차원 궤적으로부터 3차원 정보를 복원하는 기술이다. 비강체 복원은 물체가 변형함에도 물체의 기하학적 특성을 활용하여 단안 카메라의 관측만으로 물체의 형상을 복원하는 것이 가능하다. 최근 다양한 방법들이 제안되어 복잡한 물체의 복원, 밀도 높은 궤적의 복원 등 몇 가지 근본적인 어려움을 해소하는 방법들이 제안되었지만 그럼에도 불구하고 상당한 복원시간, 환경적 제약을 요구하는 문제로써 난점을 가진다. 이는 영상으로부터 2차원 궤적과 같은 기하학적인 정보에만 의존하기 때문에 발생하는 것으로 기하학적인 정보와 영상정보를 함께 활용하는 것이 가능하다면 기존의 비강체 복원 방법들의 단점을 해소하여 더욱 다양한 응용에 사용될 수 있을 것이다. 본 과제는 이러한 관점을 실현하기 위하여 영상을 입력으로 사용하는 심층신경망과 비강체 복원 기법을 융합하는 방법을 제안하고 심층 신경망을 활용하여 완전한 환경의 3차원 복원을 수행하는 방법을 연구한다.
이 목표를 달성하기 위하여 비강체 복원 기법을 심층신경망에 적용하면서 학습을 용의하게 해주는 MDS 네트워크와 심층신경망을 활용한 보간법 개발로 해결한다. 2차원 궤적 정보에 포함될 수 있는 노이즈와 로스에 대한 가정이 맞지 않는 부분에 대해 대응하기 위하여 통계적인 모델 제안과 그 모델들의 조합법에 관하여 연구한다. 마지막으로 학습된 내재적 표면 복원 네트워크를 활용하여 노이즈와 왜곡을 제거하고 환경의 표면정보를 추정하여 완전한 복원을 수행하는 방법을 개발하는 것을 목표로 한다.
- 깊이 영상간 변형적 대응점 탐색 및 조밀한 추정을 위한 최적화 기법 개발 - 점 그룹간 대응점 탐색, 예측, 보간 기술을 통한 다시점 점 그룹 융합 기술 개발 - 4D 모델의 품질 향상을 위한 위상적 잡음 제거 기술과 실루엣 기반 표면 개선 기술 개발 - 연속된 프레임 3D 정보를 이용한 메쉬 생성 및 텍스처 블렌딩 기술 개발 - 딥 러닝 기술을 이용한 포인트 클라우드/동적 메쉬의 의미론적 분할 기술 개발 - 의미론적 분할을 통해 얻은 맥락 정보에 기반한 정교한 4D 복원 방법론 개발
비강체 3차원 복원 기술은 변형하는 물체에 대해 3차원 복원을 수행하는 기술로서, 변형하는 물체에 대한 충분한 정보가 관측되기만 했다면 단안카메라로 찍은 영상에서도 복원이 가능하고, 물체의 3차원 형태 뿐만 아니라 형태의 변형까지 함께 추정하는 혁신적인 기술이다. 비강체 복원은 최근 괄목할 만큼 성장하여 비교적 복잡한 물체에 대해서도 정확한 성능을 보여주고 있지만, 동영상으로 촬영된 정보의 태생적 한계로 인하여 영상 속의 상당한 영역이 복원 불가능하고, 관측 정보가 많은 한두 개의 대상에 제한해서만 복원이 가능한 문제가 있다.
본 연구는 다수의 이동하는 agent (드론 등)로 촬영한 동영상과 본 연구진이 제안하는 통계적 파트기반 방법을 이용해, 역동적인 움직임이 있는 scene (예, 공연장, 도로 상황, 스포츠 경기장 등) 전체를 3D로 복원할 수 있는 기술을 개발하는 것을 목표로 한다. 통계적 파트기반 방법은 영상을 다수의 중복된 파트로 나눔으로써 전체의 복원성능을 끌어올리는 방법으로, 병렬처리가 가능하고 복잡한 변형에 적합한 장점이 있다. 본 연구에서는 관측정보가 부족한 비강체 복원의 근본적 한계를 해소하기 위해 다수의 이동하는 agent가 촬영한 동영상들을 바탕으로 scene 전체의 고해상도 복원을 가능하게 하는 것을 주된 목표로 한다.
이 목표를 달성하기 위해, 본 과제는 먼저 드론 등을 이용해 역동적인 환경을 촬영한 동영상 데이터베이스를 구축한다. 이동하는 카메라 여러 대로 찍은 동영상을 바탕으로 비강체복원을 수행하는 것은 새로운 문제로서, 이에 대해 각 동영상 내의 tracklet을 이용해 정합을 수행하는 방법과, 정합된 동영상에 맞게 통계적 파트기반 방법을 적용하여 전체 scene을 복원하는 방법을 개발하는 것을 최종 목표로 삼는다.