입력 비디오 데이터에 포함된 복수 개의 프레임 영상 및 렌더링하고자 하는 목표 시점을 참고하여, 시차 정보를 기준으로 상기 목표 시점과 유사한 시점의 프레임이 상기 복수 개의 프레임 영상에 존재하는지 여부에 따라서 영상 처리 모드를 결정하는 모드 결정부;상기 영상 처리 모드가 상기 복수 개의 프레임 영상 중 적어도 일부를 이용하여 3D 모델을 생성하는 제1 모드인 경우, 상기 복수 개의 프레임 영상 중 적어도 일부를 이용하여 3D 모델을 생성하는 3D 모델 생성부; 및상기 3D 모델 생성부가 생성한 상기 3D 모델을 이용하여, 상기 목표 시점에서의 입체 영상을 렌더링하는 렌더링부를 포함하는, 영상 처리 장치.

제1항에 있어서,상기 영상 처리 모드가 상기 복수 개의 프레임 영상 중 적어도 일부를 이용하여 2D 변환을 수행하는 제2 모드인 경우, 상기 복수 개의 프레임 영상 중 적어도 일부를 이용하여 2D 변환을 수행하여 상기 목표 시점에 대응하는 2D 정보를 생성하는 정적 영상 조정부를 더 포함하는, 영상 처리 장치.

제1항에 있어서,상기 모드 결정부는,상기 복수 개의 프레임 영상의 적어도 일부로부터, 특징점을 추출하는 특징점 추출부;상기 추출된 특징점을 정합하여 특징점 간의 대응 관계를 분석하는 특징점 정합부;상기 특징점 간의 대응 관계를 통해 상기 입력 비디오 데이터의 상기 복수 개의 프레임 영상의 각각에 대응하는 시점의 모션 패턴을 분석하는 시점 추정부; 및상기 모션 패턴 및 상기 목표 시점을 고려하여 상기 영상 처리 모드를 결정하는 최적화부를 포함하는, 영상 처리 장치.

제3항에 있어서,상기 시점 추정부는, 스트럭쳐 프롬 모션 (structure from motion, SFM) 기법을 이용하여, 상기 시점의 모션 패턴을 분석하는, 영상 처리 장치.

제1항에 있어서,상기 3D 모델 생성부는,상기 영상 처리 모드가 상기 제1 모드인 경우, 상기 모드 결정부가 상기 영상 처리 모드를 결정하는 과정에서 복원되는 성긴 3차원 구조(sparse 3D structure)를 이용하여, 입력 영상의 재정렬(polar rectification)을 수행하는 영상 정렬부;상기 성긴 3차원 구조를 이용하여 조밀 3차원 구조(dense 3D structure)를 복원하는 영상 정합부;상기 조밀 3차원 구조를 이용하여, 3차원 표면 및 텍스처를 복원하는 3D 구조 추정부; 및상기 3차원 표면 및 텍스처를 이용하여 3D 모델을 생성하는 3D 모델링부를 포함하는, 영상 처리 장치.

삭제

제2항에 있어서,상기 3D 모델 생성부가 생성한 상기 3D 모델 및 2D 변형에 의해 상기 정적 영상 조정부가 생성한 2D 정보를 이용하여, 상기 목표 시점에서의 영상을 렌더링하는 렌더링부를 더 포함하는, 영상 처리 장치.

입력 비디오 데이터에 포함된 복수 개의 프레임 영상 및 렌더링하고자 하는 목표 시점을 참고하여, 시차 정보를 기준으로 상기 목표 시점과 유사한 시점의 프레임이 상기 복수 개의 프레임 영상에 존재하는지 여부에 따라서 영상 처리 모드를 결정하는 모드 결정 단계;상기 영상 처리 모드가 상기 복수 개의 프레임 영상 중 적어도 일부를 이용하여 3D 모델을 생성하는 제1 모드인 경우, 상기 복수 개의 프레임 영상 중 적어도 일부를 이용하여 3D 모델을 생성하는 3D 모델 생성 단계; 및상기 3D 모델을 이용하여 상기 목표 시점에서의 입체 영상을 렌더링하는 단계를 포함하는, 영상 처리 방법.

제8항에 있어서,상기 영상 처리 모드가 상기 복수 개의 프레임 영상 중 적어도 일부를 이용하여 2D 변환을 수행하는 제2 모드인 경우, 상기 복수 개의 프레임 영상 중 적어도 일부를 이용하여 2D 변환을 수행하여 상기 목표 시점에 대응하는 2D 정보를 생성하는 정적 영상 조정 단계를 더 포함하는, 영상 처리 방법.

제8항에 있어서,상기 모드 결정 단계는,상기 복수 개의 프레임 영상의 적어도 일부로부터, 특징점을 추출하는 단계;상기 추출된 특징점을 정합하여 특징점 간의 대응 관계를 분석하는 단계;상기 특징점 간의 대응 관계를 통해 상기 입력 비디오 데이터의 상기 복수 개의 프레임 영상의 각각에 대응하는 시점의 모션 패턴을 분석하는 단계; 및상기 모션 패턴 및 상기 목표 시점을 고려하여 상기 영상 처리 모드를 결정하는 단계를 포함하는, 영상 처리 방법.

제10항에 있어서,상기 모션 패턴을 분석하는 단계는, 스트럭쳐 프롬 모션 (structure from motion, SFM) 기법을 이용하여, 상기 시점의 모션 패턴을 분석하는, 영상 처리 방법.

제8항에 있어서,상기 3D 모델 생성 단계는,상기 영상 처리 모드가 상기 제1 모드인 경우, 상기 모드 결정 단계의 상기 영상 처리 모드를 결정하는 과정에서 복원되는 성긴 3차원 구조(sparse 3D structure)를 이용하여, 입력 영상의 재정렬(polar rectification)을 수행하는 단계;상기 성긴 3차원 구조를 이용하여 조밀 3차원 구조(dense 3D structure)를 복원하는 단계;상기 조밀 3차원 구조를 이용하여, 3차원 표면 및 텍스처를 복원하는 단계; 및상기 3차원 표면 및 텍스처를 이용하여 3D 모델을 생성하는 단계를 포함하는, 영상 처리 방법.

제9항에 있어서,상기 3D 모델 생성 단계에서 생성한 상기 3D 모델 및 2D 변형에 의해 상기 정적 영상 조정 단계에서 생성된 2D 정보를 이용하여, 상기 목표 시점에서의 영상을 렌더링하는 단계를 더 포함하는, 영상 처리 방법.

제8항 내지 제13항 중 어느 한 항의 영상 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.