특허 개요
본 특허는 연속 영상에서 물체의 픽셀 이동을 찾아내는 광학 흐름 추정 모델을 정답 라벨 없이 학습하는 기술입니다. 각 영상에서 다층 딥러닝 특징을 추출·정규화하고 대응 위치의 유사도를 계산한 뒤, 레이어별 유사도를 결합한 딥 유사도 맵(deep similarity map)을 생성합니다. 전후 계속성으로 가림과 비가림 위치를 구분하고, 두 위치군의 평균 유사도를 기준으로 한 특징 분리 손실 함수(feature separation loss)를 적용해 유사도 맵의 대비를 높이면서 광학 흐름 모델을 학습합니다.
- 핵심 기능
연속 이미지의 레이어별 딥러닝 특징을 l2 정규화한 후 대응 위치 특징의 내적으로 유사도를 계산하고, 레이어별 유사도를 결합해 딥 유사도 맵을 생성합니다. 가림·비가림 위치의 평균 유사도에서 임계값을 정하고 특징 분리 손실 함수와 광도·평활도 손실 함수를 가중 적용해 광학 흐름 추정 모델을 학습합니다.
- 차별 강점
기존 비지도 광학 흐름 학습은 RGB 광도나 그라디언트·센서스 변환 등 저수준 특징에 의존해 그림자, 부분 가림, 움직임 블러 같은 실제 환경 변화에 취약할 수 있습니다. 본 기술은 다층 딥 특징의 유사도와 가림·비가림 기반 특징 분리 손실을 결합해, 환경 변화 상황에서 유사도 구분력을 높이도록 구성한 점이 차별점입니다.
- 활용 범위
기술·연구 측면에서는 컴퓨터 비전, 비지도 학습, 영상 내 움직임 추정, 가림 상황을 고려한 영상 분석 분야에 활용 가능하며, 자율주행·로봇 비전·영상 추적 및 움직임 분석에 적용할 수 있습니다. 사업 측면에서는 증강현실·가상현실, 차량 영상 분석, 스마트폰·웨어러블 영상 처리 등 실시간 움직임 정보가 필요한 제품과 서비스로 확장할 수 있습니다.
연구 개발 단계
연속 이미지의 다층 딥 특징에서 레이어별 유사도를 계산하고 이를 결합하는 방식, 전후 계속성으로 가림·비가림 위치를 구분하는 방식, 평균 유사도 기반 임계값으로 특징 분리 손실을 구성하는 방식을 제시했습니다. 실제 데이터셋 기반 정량 성능 비교, 추론 지연시간, 다양한 환경에서의 재현성 및 대규모 배포 환경 검증은 제시되지 않았습니다.
- 입력 데이터: 시간적으로 연속된 복수 이미지
- 학습 구성: 다층 딥러닝 특징, 딥 유사도 맵, 특징 분리·광도·평활도 손실 함수
- 가림 판별 기준: 전후 방향 광학 흐름의 일관성 분석
현재 성과
가림·비가림 위치의 평균 유사도로 임계값을 설정하고, 이를 기준으로 딥 유사도 맵의 대비를 높이는 특징 분리 손실 함수를 적용합니다. 해당 구성은 딥 유사도의 분리성을 높이고 광학 흐름 추정 성능을 증대시키는 방식으로 서술됩니다. 실데이터 기준 정량 성능은 PoC에서 확인이 필요합니다.
예시 딥 네트워크는 6개 레이어의 특징을 사용하며, 각 레이어의 대응 위치 특징을 l2 정규화 및 내적 연산으로 비교합니다. 유사도는 0～1 범위로 정규화되고, 레이어별 유사도를 결합해 딥 유사도 맵을 구성합니다.
기존 RGB 광도, 그라디언트, 센서스 기반의 저수준 특징 중심 비지도 학습과 달리 다층 딥러닝 특징의 유사도를 활용합니다. 또한 가림·비가림 위치군의 평균 유사도에서 임계값을 도출해 특징 분리 손실을 구성함으로써, 가림 상황을 학습 과정에 반영하는 점이 핵심 차별성입니다.
상용화까지 남은 부분
실제 데이터셋을 대상으로 한 정량 성능 비교 및 기준 모델 대비 검증
추론 지연시간과 처리량을 포함한 실시간 적용 가능성 검증
조명 변화·가림·움직임 블러 등 다양한 영상 환경에서의 재현성 검증
대규모 서비스 또는 엣지 환경 배포를 위한 모델 최적화와 운영 검증
기술 이전 형태·도입 과정
도입은 이렇게 진행됩니다.
검토 미팅
귀사 상황·데이터 구조 기준으로 적합성을 논의합니다. 자료 검토만으로 끝나도 됩니다.
PoC 공동 검증
연구팀 동행 하에 귀사 데이터 기준 재학습·성능을 확인합니다.
라이센싱 계약
PoC 결과를 기반으로 희망 형태(실시권·공동연구 등)를 협의합니다.
기술지도·후속
도입 초기 기술지도, 필요 시 후속 공동연구·정부과제 연계까지 진행합니다.
특허 정보
광학 흐름 추정을 위한 딥 유사도 기반 비지도 학습의 컴퓨터 시스템 및 그의 방법
10-2021-0062354 (2021.05.14)
1020220154872 (2022.11.22)
1025448000000 (2023.06.13)
윤성의 (한국과학기술원), 임우빈 (한국과학기술원), 김태균 (한국과학기술원)
한국과학기술원
한국과학기술원