본 연구는 자른 영역을 방지하면서 해상도를 유지하고, 안정성과 왜곡의 저하를 최소화하여 증강현실(Augmented Reality) 애플리케이션을 위한 비디오의 안정성을 향상시키는, 시각적으로 유용한 이미지를 생성하는 것을 목적으로 한다. 본 연구의 초점은 실행 속도를 유지하면서 성능 개선의 균형을 맞추는 연구를 수행하는 데 있다. 이를 위해 Versatile Quaternion-based Filter 알고리즘과 광학 흐름(optical flow)을 이용하여 관성측정장치(Inertial Measurement Unit, IMU) 센서 데이터를 처리한 후, 입력 비디오의 프레임에 대해 먼저 모션 보정을 적용한다. 크롭(cropping)에 대응하기 위해 PCA-flow 기반 비디오 안정화를 추가로 수행한다. 또한 전체 프레임 비디오 생성 과정에서 발생하는 왜곡을 완화하기 위해 신경 렌더링(neural rendering)을 적용하여 안정화된 프레임의 출력을 얻는다. IMU 센서를 사용하는 경우의 예상 효과는 비디오의 안정성을 증가시키면서도 시각적 품질을 유지하는 전체 프레임 비디오의 생성이다. 본 기술은 비디오 흔들림을 교정하는 데 기여하며, 저비용으로 시각적으로 유용한 이미지를 생성할 수 있다는 장점이 있다. 따라서 본 연구는 IMU 센서를 이용한 모션 보정 이후 전체 프레임 비디오를 산출하는 새로운 하이브리드(full-frame) 비디오 안정화 알고리즘을 제안한다. 본 방법을 세 가지 지표인 Stability score, Distortion value, Cropping ratio에 대해 평가한 결과, IMU 센서를 효과적으로 활용할 때 흐름 정확도(flow inaccuracy)에 대한 강인성이 더 높아져 안정화가 보다 효과적으로 달성되었음을 시사한다. 특히 평가 결과 중 ‘Turn’ 범주에서는, PCA flow, neural rendering, DIFRINT를 포함한 기존의 전체 프레임 비디오 안정화 기반 방법들의 평균 결과와 비교하여 Stability score는 18% 향상되었고 Distortion value는 3% 개선되었다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.