특허 개요
본 특허는 자연어로 설명한 장면이 영상의 어디에서 시작하고 끝나는지 찾는 비디오 구간 예측 기술입니다. 영상의 시공간 특징과 문장의 언어 특징을 분석해 관련 이벤트의 발생 가능성을 나타내는 시간적 제안 분포를 생성합니다. 이후 구간 안에 포함되는 분포의 양인 커버리지에서 구간 길이에 따른 페널티를 뺀 목적 함수를 최대화하고, 분포 함수값과 페널티 가중치가 같아지는 시점을 경계로 정합니다. 가우시안 분포에서는 반복 최적화 없이 수학식으로 직접 계산하는 닫힌 해를 이용해 시작·종료 시점을 산출합니다.
- 핵심 기능
비디오와 자연어 쿼리의 특징을 결합해 시간적 제안 분포를 생성하고, 관련 이벤트를 포함하는 정도와 구간 길이 사이의 균형을 평가합니다. 페널티 가중치에 따라 최적 경계를 계산하며, 가우시안 혼합 분포에서는 성분별 경계 중 가장 이른 시작점과 가장 늦은 종료점을 결합해 연속 구간을 구성합니다.
- 차별 강점
기존 가우시안 기반 방식은 분포의 중심과 폭에 고정 규칙을 적용해 구간을 정하므로 불필요한 배경을 포함하거나 중요 장면을 누락할 수 있습니다. 본 기술은 분포의 형상과 밀도를 반영해 경계를 계산하며, 기존 모델의 구조와 파라미터 수를 유지한 채 추가 학습 없이 추론 단계에 적용할 수 있습니다.
- 활용 범위
기술·연구 측면에서는 자연어 기반 비디오 검색, 지능형 영상 분석, 영상 콘텐츠의 장면 탐색과 하이라이트 추출에 활용 가능합니다. 사업 측면에서는 미디어 아카이브 검색, 영상 콘텐츠 탐색 서비스, 실시간 비디오 이해 서비스의 구간 예측 모듈로 확장할 수 있습니다.
연구 개발 단계
기존 모델의 추론 단계에 구간 예측 방법을 적용하고, 고정 규칙 기반 비교예와 검색 정확도 및 샘플당 추론 시간을 비교했습니다. 여러 평가 항목에서 개선을 확인했으나 CPL의 일부 지표는 하락했으며, 실제 영상 도메인·다국어 쿼리·대규모 서비스 환경에서의 일반화와 운영 품질은 아직 추가 검증이 필요합니다.
- 적용 모델: CNM·CPL·PPS 제안 생성 모델의 추론 단계
- 비교 방식: 중심·폭 파라미터를 고정 규칙으로 구간으로 변환하는 방식
- 평가 환경: ActivityNet Captions, 단일 NVIDIA GTX 1070 GPU, Pytorch, R@1·R@5 및 IoU=0.5·0.7 평가
현재 성과
ActivityNet Captions에서 PPS 가우시안 혼합 모델에 적용한 결과이며, 대응 비교예는 각각 71.32%, 34.70%였습니다. 상위 후보 구간과 정답 구간의 겹침을 평가한 결과로, 모든 모델·평가 조건에서 일관된 개선을 의미하지는 않습니다.
단일 NVIDIA GTX 1070 GPU와 Pytorch 환경에서 CNM·CPL·PPS에 적용하고, 고정 규칙 기반 비교예와 정확도 및 추론 시간을 비교했습니다. CPL의 R@1 IoU=0.7은 실시예 11.15%, 비교예 11.83%로 나타나 적용 모델과 평가 기준에 따른 성능 차이를 확인해야 합니다.
중심과 폭의 고정 배수로 구간을 정하는 방식과 달리, 분포 적분값과 구간 길이 페널티를 함께 최적화하고 분포 함수값과 페널티 가중치의 교점으로 경계를 결정합니다. 가우시안에서는 닫힌 해를 이용하며, 실험에서는 재학습·파라미터 갱신·추가 메모리 자원 없이 대응 비교예와 동일한 파라미터 수 및 시간 복잡도로 적용했습니다.
상용화까지 남은 부분
다양한 실제 영상 도메인과 다국어 쿼리에서 구간 예측 성능 및 일반화 검증
대규모 서비스 환경에서의 처리 성능과 장기 운영 시 지연 검증
실제 사용자 검색 과제에서의 체감 검색 품질 검증
기술 이전 형태·도입 과정
도입은 이렇게 진행됩니다.
검토 미팅
귀사 상황·데이터 구조 기준으로 적합성을 논의합니다. 자료 검토만으로 끝나도 됩니다.
PoC 공동 검증
연구팀 동행 하에 귀사 데이터 기준 재학습·성능을 확인합니다.
라이센싱 계약
PoC 결과를 기반으로 희망 형태(실시권·공동연구 등)를 협의합니다.
기술지도·후속
도입 초기 기술지도, 필요 시 후속 공동연구·정부과제 연계까지 진행합니다.
특허 정보
비디오 그라운딩을 위한 구간 예측 방법 및 장치
METHOD FOR PREDICTING INTERVAL FOR VIDEO GROUNDING AND APPARATUS THEREOF
10-2025-0184372 (2025.01.01)
미등록 (심사 중)
김선오, 엄대호
단국대학교 산학협력단