특허 개요
본 특허는 적은 수의 다각도 이미지에서 3차원 형상을 재구성하는 일반화 가능한 표면 복원 기술입니다. 교차 뷰 매칭 트랜스포머(cross-view matching transformer)가 이미지 간 매칭 특징과 상관관계를 학습하고, 호모그래피 와핑과 3D CNN으로 구성한 계단식 상관관계 절두체에서 뷰별 기하 정보를 통합합니다. 이어 모든 이미지 쌍의 기하학 인식 유사성 인코딩과 복원 트랜스포머를 통해 색상 및 SDF(Signed Distance Function)를 예측하고, 볼륨 렌더링으로 3차원 표면을 복원합니다.
- 핵심 기능
입력된 소스 이미지에서 다중 스케일 특징을 추출한 뒤, 교차 뷰 매칭 트랜스포머가 이미지 간 대응 관계를 반영한 매칭 특징을 생성합니다. 각 뷰의 상관관계 절두체와 쌍별 유사성 특징을 광선상 3차원 점에 결합해 복원 트랜스포머에 전달하고, 색상과 SDF를 예측하여 표면을 복원합니다.
- 차별 강점
기존 일반화 기반 표면 복원은 중첩 영역이 큰 고정된 최적 뷰 조합에 의존해, 실제의 임의적이거나 불리한 카메라 구성에서 성능 저하가 발생할 수 있었습니다. 본 기술은 모든 입력 이미지 쌍의 상관관계와 유사성을 함께 모델링하고 무작위 집합 학습을 적용해, 뷰 조합이 달라져도 복원에 활용할 수 있도록 설계한 점이 차별점입니다.
- 활용 범위
기술·연구 측면에서는 멀티뷰 3차원 복원, 뉴럴 렌더링, 디지털 트윈, 로봇 시각 인지, 희소 이미지 기반 장면 모델링 분야에 활용 가능하며, 가상 현실·증강 현실·3차원 객체 디지털화에 확장할 수 있습니다. 사업 측면에서는 비디오 게임·시각 효과 콘텐츠 제작, 공간 스캔 솔루션, 로봇 환경 인지, 몰입형 콘텐츠 플랫폼 등 3차원 장면 데이터를 다루는 제품·서비스로 확장할 수 있습니다.
연구 개발 단계
다양한 VC 점수의 희소 다각도 이미지 조합을 대상으로 이전 최첨단 복원 방법 및 VolRecon과 비교하고, 최적 뷰 집합 학습과 무작위 집합 학습의 차이를 검증했습니다. 소스 이미지 간 상관관계를 학습하면 불리한 이미지 집합에서도 합리적인 기하학 복원이 가능함을 제시했으나, 대규모·다양한 실제 장면에서의 재현성과 실시간 운용 성능은 추가 검증이 필요합니다.
- 복원 대상: 다양한 VC 점수와 임의적·불리한 희소 다각도 이미지 뷰 조합의 3차원 표면
- 비교 방식: 이전 최첨단 복원 방법, VolRecon, 최적 뷰 집합 학습 및 무작위 집합 학습
- 입력·학습 조건: 소스 이미지 3장, 렌더링 색상과 정답 색상·깊이 기반 손실함수
현재 성과
소스 뷰 이미지 간 상관관계를 학습해 중첩 영역이 매우 작은 이미지 집합에서도 일반화 가능한 표면 복원을 수행하도록 설계했습니다. 기존 방법이 불리한 집합에서 성능 저하를 보이는 경우에도 합리적인 기하학을 복원할 수 있음을 제시했습니다.
전체 카메라 구성에서 무작위로 선택한 3장의 이미지를 이용해 학습하고, 다양한 VC 점수 및 불리한 희소 뷰 조합에서 비교 평가를 수행했습니다. 렌더링 색상과 정답 색상·깊이 기반 손실함수를 사용해 복원 파이프라인을 검증했습니다.
기존 방식은 유리한 고정 뷰 조합을 중심으로 학습·평가하는 경향이 있어 임의 카메라 구성에 대한 대응이 제한될 수 있습니다. 본 기술은 교차 뷰 매칭 특징, 계단식 상관관계 절두체 및 모든 입력 쌍의 기하학 인식 유사성 인코딩을 결합해 뷰 조합 일반화를 목표로 합니다.
상용화까지 남은 부분
대규모·다양한 실제 장면 데이터셋에서의 복원 재현성 검증
처리 시간과 메모리 요구량 분석 및 목표 서비스 환경에 맞춘 최적화
실시간 처리 성능과 장기 운영 환경에서의 안정성 검증
기술 이전 형태·도입 과정
도입은 이렇게 진행됩니다.
검토 미팅
귀사 상황·데이터 구조 기준으로 적합성을 논의합니다. 자료 검토만으로 끝나도 됩니다.
PoC 공동 검증
연구팀 동행 하에 귀사 데이터 기준 재학습·성능을 확인합니다.
라이센싱 계약
PoC 결과를 기반으로 희망 형태(실시권·공동연구 등)를 협의합니다.
기술지도·후속
도입 초기 기술지도, 필요 시 후속 공동연구·정부과제 연계까지 진행합니다.
특허 정보
임의적이고 불리한 다각도 희소 이미지 집합에서 일반화 가능한 표면 복원 방법 및 컴퓨터 장치
10-2024-0071859 (2024.05.31)
1020250172173 (2025.12.09)
미등록 (심사 중)
윤성의 (한국과학기술원), 나영주 (한국과학기술원), 김우재 (한국과학기술원), 한규범 (한국과학기술원), 하수현 (한국과학기술원)
한국과학기술원