타겟 카메라 및 참조 카메라를 포함하는 다중 카메라 시스템에 적용되는 외부 파라미터 교정 장치에 있어서,상기 타겟 카메라 및 참조 카메라에 의해 촬영된 복수의 이미지로부터 공통으로 촬영된 직선을 추출하여 매칭하는 매칭부;상기 매칭된 직선의 방향정보를 이용하여 외부 파라미터 결정에 사용될 직선을 선택하는 직선 선택부;상기 선택된 직선에 대하여 3차원 피팅(fitting) 결과에 따라 결정되는 기설정된 제약조건을 이용하여 외부 파라미터의 초기값을 결정하는 초기값 결정부;상기 결정된 초기값에 비선형 최적화를 적용하여 회전 변환을 추정하는 회전변환 추정부; 및상기 회전 변환이 추정되면, 트랜스레이션(translation)의 제약조건의 수렴성을 만족하는 직선을 재선택하는 교정부;를 포함하는 것을 특징으로 하는 외부 파라미터 교정 장치.

제 1 항에 있어서,상기 직선 선택부는, 하기의 수식을 이용하여 상기 직선을 선택하는 것을 특징으로 하는 외부 파라미터 교정 장치:여기서, dt는 상기 타겟 카메라에 의해 촬영된 이미지의 직선의 방향벡터, ds는 상기 참조 카메라에 의해 촬영된 이미지의 직선의 방향벡터, R은 상기 타겟 카메라 및 참조 카메라 사이의 회전변환, Pt는 상기 타겟 카메라의 투영행렬(Projection Matrix), l은 이미지에서 2차원 직선의 좌표이다.

제 1 항에 있어서,상기 3차원 피팅 결과는, 3차원 직선이 상기 타겟 카메라와 상기 참조 카메라 모두에서 정상적으로 피팅된 경우 및 상기 3차원 직선이 상기 참조 카메라에서만 피팅된 경우를 포함하는 것을 특징으로 하는 외부 파라미터 교정 장치.

제 1 항에 있어서,상기 기설정된 제약조건은, 듀얼 플뤼커 행렬로 표현된 직선 위에 변환된 참조 카메라 직선 위의 두 점이 위치하여야 한다는 제1 조건, 및 상기 타겟 카메라 위에 투영된 참조 카메라의 직선의 두 점은 2차원 이미지 상의 타겟 직선 상에 위치하여야 한다는 제2 조건을 포함하는 것을 특징으로 하는 외부 파라미터 교정 장치.

제 4 항에 있어서,상기 제1 조건을 이용한 제약조건은 하기의 수식으로 정의되는 것을 특징으로 하는 외부 파라미터 교정 장치:여기서, 은 직선의 듀얼 플뤼커(dual plucker) 행렬 표현, 은 상기 타겟 카메라의 3차원 직선 위의 j번째 끝점(j=1,2)의 제차(homogeneous) 표현, m은 직선의 플뤼커 좌표 중 모멘트 벡터, 는 상기 참조 카메라의 3차원 직선 위의 j번째 끝점(j=1,2), t는 타겟 카메라와 참조 카메라 사이의 트랜스레이션, 은 벡터의 반대칭 행렬(skew-symmetric matrix) 표현, R은 상기 타겟 카메라 및 참조 카메라 사이의 회전변환, d는 직선의 방향벡터이다.

제 4 항에 있어서,상기 제2 조건을 이용한 제약조건은 하기의 수식으로 정의되는 것을 특징으로 하는 외부 파라미터 교정 장치:여기서, Kt는 상기 타겟 카메라의 intrinsic matrix, 는 상기 참조 카메라의 3차원 직선 위의 j번째 끝점(j=1,2), R은 상기 타겟 카메라 및 참조 카메라 사이의 회전변환, d는 직선의 방향벡터, t는 타겟 카메라와 참조 카메라 사이의 트랜스레이션이다.

제 1 항에 있어서,상기 교정부는, 하기의 수식에 의해 상기 직선을 재선택하는 것을 특징으로 하는 외부 파라미터 교정 장치:여기서, 는 벡터의 반대칭 행렬, 는 플뤼커 직선의 카메라 평면으로의 투영행렬, k는 임의의 실수값, t는 타겟 카메라와 참조 카메라 사이의 트랜스레이션, R은 상기 타겟 카메라 및 참조 카메라 사이의 회전변환, m은 직선의 플뤼커 좌표 중 모멘트 벡터이다.

제 1 항에 있어서,상기 교정부는, 상기 직선의 수렴성을 판단하고, 상기 판단된 수렴성에 의해 하나의 점으로 모이는 직선은 인라이어(inlier)로 결정하고, 수렴하지 않는 직선은 아웃라이어(outlier)로 결정하며, 상기 인라이어로 결정된 직선은 상기 외부 파라미터 결정에 사용될 직선으로 추가하고, 상기 아웃라이어로 결정된 직선은 상기 외부 파라미터 결정에 사용될 직선에서 제거하는 것을 특징으로 하는 외부 파라미터 교정 장치.

타겟 카메라 및 참조 카메라를 포함하는 다중 카메라 시스템에 적용되는 외부 파라미터 교정 방법에 있어서,상기 타겟 카메라 및 참조 카메라에 의해 촬영된 복수의 이미지로부터 공통으로 촬영된 직선을 추출하여 매칭하는 단계;상기 매칭된 직선의 방향정보를 이용하여 외부 파라미터 결정에 사용될 직선을 선택하는 단계;상기 선택된 직선에 대하여 3차원 피팅(fitting) 결과에 따라 결정되는 기설정된 제약조건을 이용하여 외부 파라미터의 초기값을 결정하는 단계;상기 결정된 초기값에 비선형 최적화를 적용하여 회전 변환을 추정하는 단계; 및상기 회전 변환이 추정되면, 트랜스레이션(translation)의 제약조건의 수렴성을 만족하는 직선을 재선택하는 단계;를 포함하는 것을 특징으로 하는 외부 파라미터 교정 방법.

제 9 항에 있어서,상기 직선을 선택하는 단계는, 하기의 수식을 이용하여 상기 직선을 선택하는 것을 특징으로 하는 외부 파라미터 교정 방법:여기서, dt는 상기 타겟 카메라에 의해 촬영된 이미지의 직선의 방향벡터, ds는 상기 참조 카메라에 의해 촬영된 이미지의 직선의 방향벡터, R은 상기 타겟 카메라 및 참조 카메라 사이의 회전변환, Pt는 상기 타겟 카메라의 투영행렬(Projection Matrix), l은 이미지에서 2차원 직선의 좌표이다.

제 9 항에 있어서,상기 3차원 피팅 결과는, 3차원 직선이 상기 타겟 카메라와 상기 참조 카메라 모두에서 정상적으로 피팅된 경우 및 상기 3차원 직선이 상기 참조 카메라에서만 피팅된 경우를 포함하는 것을 특징으로 하는 외부 파라미터 교정 방법.

제 9 항에 있어서,상기 기설정된 제약조건은, 듀얼 플뤼커 행렬로 표현된 직선 위에 변환된 참조 카메라 직선 위의 두 점이 위치하여야 한다는 제1 조건, 및 상기 타겟 카메라 위에 투영된 참조 카메라의 직선의 두 점은 2차원 이미지 상의 타겟 직선 상에 위치하여야 한다는 제2 조건을 포함하는 것을 특징으로 하는 외부 파라미터 교정 장치.

제 12 항에 있어서,상기 제1 조건을 이용한 제약조건은 하기의 수식으로 정의되는 것을 특징으로 하는 외부 파라미터 교정 방법:여기서, 은 직선의 듀얼 플뤼커(dual plucker) 행렬 표현, 은 상기 타겟 카메라의 3차원 직선 위의 j번째 끝점(j=1,2)의 제차(homogeneous) 표현, m은 직선의 플뤼커 좌표 중 모멘트 벡터, 는 상기 참조 카메라의 3차원 직선 위의 j번째 끝점(j=1,2), t는 타겟 카메라와 참조 카메라 사이의 트랜스레이션, 은 벡터의 반대칭 행렬(skew-symmetric matrix) 표현, R은 상기 타겟 카메라 및 참조 카메라 사이의 회전변환, d는 직선의 방향벡터이다.

제 12 항에 있어서,상기 제2 조건을 이용한 제약조건은 하기의 수식으로 정의되는 것을 특징으로 하는 외부 파라미터 교정 방법.여기서, Kt는 상기 타겟 카메라의 intrinsic matrix, 는 상기 참조 카메라의 3차원 직선 위의 j번째 끝점(j=1,2), R은 상기 타겟 카메라 및 참조 카메라 사이의 회전변환, d는 직선의 방향벡터, t는 타겟 카메라와 참조 카메라 사이의 트랜스레이션이다.

제 9 항에 있어서,상기 직선을 재선택하는 단계는, 하기의 수식에 의해 상기 직선을 재선택하는 것을 특징으로 하는 외부 파라미터 교정 방법.여기서, 는 벡터의 반대칭 행렬, 는 플뤼커 직선의 카메라 평면으로의 투영행렬, k는 임의의 실수값, t는 타겟 카메라와 참조 카메라 사이의 트랜스레이션, R은 상기 타겟 카메라 및 참조 카메라 사이의 회전변환, m은 직선의 플뤼커 좌표 중 모멘트 벡터이다.

제 9 항에 있어서,상기 직선을 재선택하는 단계는,상기 직선의 수렴성을 판단하는 단계;상기 판단된 수렴성에 의해 하나의 점으로 모이는 직선은 인라이어(inlier)로 결정하고, 수렴하지 않는 직선은 아웃라이어(outlier)로 결정하는 단계; 및상기 인라이어로 결정된 직선은 상기 외부 파라미터 결정에 사용될 직선으로 추가하고, 상기 아웃라이어로 결정된 직선은 상기 외부 파라미터 결정에 사용될 직선에서 제거하는 단계;를 포함하는 것을 특징으로 하는 외부 파라미터 교정 방법.