본 논문은 비디오 입력으로부터 스테인드글라스 애니메이션을 생성하는 방법을 제시한다. 해당 방법은 먼저 mean-shift 분할(mean-shift segmentation)을 통해 입력 비디오 볼륨을 스테인드글라스의 조각(유리 파편)으로 간주되는 여러 영역들로 분할한다. 그러나 분할 결과는 주로 과분할(over-segmentation)로 나타나, 질감이 매우 복잡한 영역에서 다수의 아주 작은 분할 조각이 생성된다. 실제 스테인드글라스 제작에서는 건축적 안정성을 확보하기 위해 지나치게 작거나 크기가 큰 유리 조각의 조립을 피한다. 따라서 우리는 과분할을 방지하기 위해 분할에서 저주파 성분을 사용하고, 분할된 영역이 과도하게 큰 경우에는 이를 재분할한다. 재분할은 프레임 간 인접성(coherence)을 유지하여 깜빡임(flickering)과 샤워 도어 효과(shower door effect)와 같은 시간적 인공물(artefacts)을 방지해야 한다. 영역을 시간적으로 일관되게 재분할하기 위해, 분할된 영역들로부터 입력 프레임의 파노라마 영상을 획득하고, 이를 가중 Voronoi 다이어그램(weighted Voronoi diagram)으로 분할한 뒤, 분할된 영역을 다시 입력 프레임에 투영한다. 각 시간적으로 일관된 영역에 대해 스테인드글라스 조각을 렌더링하기 위해, 실제 스테인드글라스 조각 이미지로 구성된 데이터셋으로부터 해당 영역에 대한 최적 매칭 유리 조각을 결정하고, 그 유리 조각의 색과 질감을 영역에 전이(transfer)한다. 마지막으로, 각 프레임에서 영역의 경계에 리드 카메(lead came)를 적용함으로써 시간적으로 일관된 스테인드글라스 애니메이션을 생성한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.