IMU-비전 융합 기반 풀프레임 영상 안정화와 3DGS 시각 편집

IMU-Visual Fusion Full-Frame Video Stabilization and 3DGS Visual Editing

연구 내용

IMU와 광학흐름을 결합해 잘림과 왜곡을 최소화하는 풀프레임 비디오 안정화 파이프라인과 3D Gaussian Splatting 기반 국소 시각 편집을 다루는 연구

본 분야에서는 IMU 센서 데이터를 Versatile Quaternion 기반 필터와 광학흐름으로 처리하여 입력 프레임의 모션 보정을 수행합니다. 이후 PCA-flow 기반 방법으로 잘림(cropping)을 완화하고, 풀프레임 생성 과정에서 발생하는 왜곡을 신경 렌더링으로 보정하여 안정성과 해상도를 동시에 확보하는 절차를 구성합니다. 또한 3D Gaussian Splatting 계열에서 마스크 생성과 positional matching을 결합해 장면 내 선택적 스타일 적용을 가능하게 하며, 비강체 변형을 part-aware expert로 분해하는 구조를 통해 3DGS 기반 아바타 일관성을 높이는 방향으로 확장합니다.

관련 프로젝트

0건

연구 흐름

초기 연구에서는 IMU 기반 모션 보정과 광학 정보 융합을 통해 비디오 흔들림을 줄이되, 단순 보정으로는 해결되기 어려운 잘림과 왜곡 문제를 단계적으로 다루는 접근을 확보했습니다. 이후 PCA-flow 기반 정합과 신경 렌더링을 결합해 풀프레임 결과의 시각 품질 저하를 완화하는 방향으로 정교화했습니다. 최근에는 3D Gaussian Splatting 기반 편집에서 장면 전체가 아닌 영역 단위 제어를 위한 마스크-정합 기법과, 비강체 변형을 부분 전문가로 모델링하는 구조로 연구 축을 확장하고 있습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

웨어러블/AR 실시간 영상 안정화
IMU-광학융합 자세 추정
풀프레임 렌더링 왜곡 보정
3DGS 국소 스타일 편집
모션 보정 기반 장면 합성
가상-실 환경 정합 인터랙션
저비용 안정화 파이프라인
비디오 품질 평가 지표 최적화
센서 기반 안정화 파라미터 적응
AR 콘텐츠 자동 생성