깊이 영상 기반 렌더링은 깊이 정보를 활용하여 가상 시점의 영상을 생성하는 기술로 다양한 3차원 영상시스템에서 필요로 하는 기술이다. 깊이 영상 기반 렌더링에서 가장 어려운 과제는 가상 시점 영상에서 새롭게 드러나는 부분을 채우는 과정이다. 영상 인페인팅은 이 과정에서 보편적으로 활용되는 방법이다. 본 논문에서는 홀을 채우는 과정에서 발생하는 오류를 줄이고 자연스럽게 채우는 방법을 제안한다. 먼저 색상 영상의 정보와 깊이 정보를 활용하여 지역적으로 적응적 패치 크기를 선택하도록 하였다. 또한 패치 간 유사도에 따라 홀을 채우는 방법을 한 번에 채우는 경우와 부분적으로 채우는 경우로 구분하였다. 이를 통해 오류의 발생을 줄이고 깊이 영상 기반 렌더링에서 가장 큰 문제가 되는 오류의 전파를 억제하였다. 실험을 통해 제안한 방법이 기존의 방법보다 시각적으로 자연스러운 가상 시점 영상을 생성하는 것을 확인하였다.

In three-dimensional display systems, depth image based rendering is the most commonly used technique for generating images captured from a virtual viewpoint through reference views and depth maps. However, disoccluded hole filling remain a challenging issue as newly exposed area appears in the virtual view. Image inpainting based hole filling is a popular approach for filling in the hole, but the conventional methods generate annoying artifacts along the boundaries of the foreground objects. This letter presents a robust hole filling method that generates a virtual view with high quality. First, by using the local and neighboring property of the depth map, the background region is filled prior to the foreground region. Also, in the matching step to find the data to fill in, depth homogeneity is considered. Finally, based on the boundary decision using the depth property, the boundary regions are filled with background-relevant data to reduce boundary artifacts. Experimental results show that the views synthesized by the proposed method achieve higher visual comfort than the view synthesized by the existing methods.