방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 제작 방법
SYSTEM AND METHOD FOR GENERATING EPIPOLAR IMAGES BY USING DIRECTION COSINE
특허 요약
본 발명은 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 방법에 관한 것으로, 항공사진측량용 카메라, 드론에 장착된 카메라 또는 실내에 위치하는 카메라를 통해 수집되는 좌우영상에 대한 상호표정요소 또는 외부표정요소를 결정하고, 상기 결정한 상호표정요소 또는 외부표정요소를 토대로 좌우영상의 3차원 사진좌표축과 에피폴라 영상의 3차원 사진좌표축 간의 회전관계를 방향코사인을 통해 계산하여 3차원 회전행렬을 생성함으로써, 상기 생성한 3차원 회전행렬을 통해 상기 좌우영상에 대한 에피폴라 영상을 효과적으로 제작할 수 있도록 하는 방향코사인을 이용한 에피폴라 영상 제작 시스템 및 그 방법에 관한 것이다.
청구항
번호청구항
1

카메라로부터 특정 객체를 촬영한 좌우영상을 입력받는 좌우영상 입력부;상기 입력받은 좌우영상에 대한 상호표정요소 또는 외부표정요소를 결정하는 표정요소 결정부; 및상기 결정한 상호표정요소 또는 외부표정요소를 이용하여 생성되는 좌우영상의 3차원 사진좌표축과 y-좌표가 제거된 에피폴라 영상의 3차원 사진좌표축 간의 회전관계를 방향코사인을 이용하여 계산한 3차원 회전행렬을 생성하고, 상기 생성한 3차원 회전행렬을 이용하여, 좌우영상에 대한 영상좌표를 사진좌표로 변환하기 위한 사진좌표 변환행렬을 통해 변환한 좌우영상의 사진좌표를 에피폴라 영상의 3차원 사진좌표로 변환하며, 상기 변환한 에피폴라 영상의 3차원 사진좌표를 2차원 사진좌표로 변환하기 위한 투영행렬을 생성하고, 상기 투영행렬을 통해 상기 변환한 에피폴라 영상의 2차원 사진좌표를 에피폴라 영상의 영상좌표로 변환하기 위한 축 변환 행렬과 축척 및 이동행렬을 생성하는 것을 포함하며, 상기 생성한 사진좌표 변환행렬, 3차원 회전행렬, 투영행렬, 축 변환 행렬과 축척 및 이동행렬을 토대로 에피폴라 행렬을 생성하고, 상기 좌우영상에 상기 생성한 에피폴라 행렬을 적용하여 상기 좌우영상에 대한 에피폴라 영상을 각각 제작하는 에피폴라 영상 처리부;를 포함하는 것을 특징으로 하는 방향코사인을 이용한 에피폴라 영상 제작 시스템.

2

청구항 1에 있어서,상기 상호표정요소는,좌영상의 회전각 및 우영상의 회전각을 포함하며,상기 외부표정요소는,상기 카메라의 위치 및 촬영각도를 포함하는 것을 특징으로 하는 방향코사인을 이용한 에피폴라 영상 제작 시스템.

3

삭제

4

청구항 1에 있어서,상기 투영행렬은, 상기 좌우영상의 초점거리를 평균하여 생성되고,상기 축 변환 행렬은, 사진좌표계와 영상좌표계 사이의 y축이 상호 반대 방향으로 형성되는 특성을 이용하여 생성되며,상기 축척 및 이동행렬은, 에피폴라 영상좌표로 변환한 에피폴라 영상의 크기를 설정하고, 상기 에피폴라 영상좌표로 변환하는 과정에서 생성되는 음(-)의 좌표를 제거하기 위해 생성되는 것을 특징으로 하는 방향코사인을 이용한 에피폴라 영상 제작 시스템.

5

청구항 1에 있어서,상기 에피폴라 행렬은, 상기 생성한 사진좌표 변환행렬, 3차원 회전행렬, 투영행렬, 축 변환 행렬과 축척 및 이동행렬을 순차적으로 곱함으로써, 생성되는 것을 특징으로 하는 방향코사인을 이용한 에피폴라 영상 제작 시스템.

6

청구항 1에 있어서,상기 에피폴라 영상 처리부는,상기 생성한 에피폴라 행렬에 대한 역행렬을 이용하여, 상기 제작한 에피폴라 영상에 대한 영상좌표를 상기 좌우영상에 대한 영상좌표로 변환하며,상기 변환한 좌우영상에 대한 영상좌표의 밝기값(픽셀값)을 상기 제작한 에피폴라 영상에 대한 영상좌표의 밝기값으로 각각 적용하는 것을 더 포함하는 것을 특징으로 하는 방향코사인을 이용한 에피폴라 영상 제작 시스템.

7

청구항 1에 있어서,상기 방향코사인을 이용한 에피폴라 영상 제작 시스템은,카메라 캘리브레이션을 통해 상기 카메라의 초점거리, 주점위치, 및 방사왜곡과 접선왜곡에 대한 매개변수를 결정함으로써, 상기 좌우영상에 발생될 수 있는 카메라 왜곡을 보정하는 카메라 왜곡 보정부;를 더 포함하는 것을 특징으로 하는 방향코사인을 이용한 에피폴라 영상 제작 시스템.

8

방향코사인을 이용한 에피폴라 영상 제작 시스템에서, 카메라로부터 특정 객체를 촬영한 좌우영상을 입력받는 좌우영상 입력 단계;상기 입력받은 좌우영상에 대한 상호표정요소 또는 외부표정요소를 결정하는 표정요소 결정 단계; 및상기 결정한 상호표정요소 또는 외부표정요소를 이용하여 생성되는 좌우영상의 3차원 사진좌표축과 y-좌표가 제거된 에피폴라 영상의 3차원 사진좌표축 간의 회전관계를 방향코사인을 이용하여 계산한 3차원 회전행렬을 생성하고, 상기 생성한 3차원 회전행렬을 이용하여, 좌우영상에 대한 영상좌표를 사진좌표로 변환하기 위한 사진좌표 변환행렬을 통해 변환한 좌우영상의 사진좌표를 에피폴라 영상의 3차원 사진좌표로 변환하며, 상기 변환한 에피폴라 영상의 3차원 사진좌표를 2차원 사진좌표로 변환하기 위한 투영행렬을 생성하고, 상기 투영행렬을 통해 상기 변환한 에피폴라 영상의 2차원 사진좌표를 에피폴라 영상의 영상좌표로 변환하기 위한 축 변환 행렬과 축척 및 이동행렬을 생성하는 것을 포함하며, 상기 생성한 사진좌표 변환행렬, 3차원 회전행렬, 투영행렬, 축 변환 행렬과 축척 및 이동행렬을 토대로 에피폴라 행렬을 생성하고, 상기 좌우영상에 상기 생성한 에피폴라 행렬을 적용하여 상기 좌우영상에 대한 에피폴라 영상을 각각 제작하는 에피폴라 영상 처리 단계;를 포함하는 것을 특징으로 하는 방향코사인을 이용한 에피폴라 영상 제작 방법.

9

청구항 8에 있어서,상기 상호표정요소는,좌영상의 회전각 및 우영상의 회전각을 포함하며,상기 외부표정요소는,상기 카메라의 위치 및 촬영각도를 포함하는 것을 특징으로 하는 방향코사인을 이용한 에피폴라 영상 제작 방법.

10

삭제

11

청구항 8에 있어서,상기 투영행렬은, 상기 좌우영상의 초점거리를 평균하여 생성되고,상기 축 변환 행렬은, 사진좌표계와 영상좌표계 사이의 y축이 상호 반대 방향으로 형성되는 특성을 이용하여 생성되며,상기 축척 및 이동행렬은, 에피폴라 영상좌표로 변환한 에피폴라 영상의 크기를 설정하고, 상기 에피폴라 영상좌표로 변환하는 과정에서 생성되는 음(-)의 좌표를 제거하기 위해 생성되는 것을 특징으로 하는 방향코사인을 이용한 에피폴라 영상 제작 방법.

12

청구항 8에 있어서,상기 에피폴라 행렬은, 상기 생성한 사진좌표 변환행렬, 3차원 회전행렬, 투영행렬, 축 변환 행렬과 축척 및 이동행렬을 순차적으로 곱함으로써, 생성되는 것을 특징으로 하는 방향코사인을 이용한 에피폴라 영상 제작 방법.

13

청구항 8에 있어서,상기 에피폴라 영상 처리 단계는,상기 생성한 에피폴라 행렬에 대한 역행렬을 이용하여, 상기 제작한 에피폴라 영상에 대한 영상좌표를 상기 좌우영상에 대한 영상좌표로 변환하며,상기 변환한 좌우영상에 대한 영상좌표의 밝기값(픽셀값)을 상기 제작한 에피폴라 영상에 대한 영상좌표의 밝기값으로 각각 적용하는 것을 더 포함하는 것을 특징으로 하는 방향코사인을 이용한 에피폴라 영상 제작 방법.

14

청구항 8에 있어서,상기 방향코사인을 이용한 에피폴라 영상 제작 방법은,카메라 캘리브레이션을 통해 상기 카메라의 초점거리, 주점위치, 및 방사왜곡과 접선왜곡에 대한 매개변수를 결정함으로써, 상기 좌우영상에 발생될 수 있는 카메라 왜곡을 보정하는 카메라 왜곡 보정 단계;를 더 포함하는 것을 특징으로 하는 방향코사인을 이용한 에피폴라 영상 제작 방법.