특허 개요
본 특허는 자연어로 원하는 장면을 설명하면 영상에서 해당 장면의 시작·종료 시간 구간을 찾는 기술입니다. 비디오·쿼리 인코더로 추출한 특징을 양방향 어텐션으로 결합하고, 각 타임스텝의 시작·종료 확률을 예측합니다. 학습 시에는 의미적으로 중요한 단어를 가린 뒤 정답 구간과 주변 영상으로 복원하는 쿼리 복원 보조 과제와, 편향 생성기·판별기를 이용한 적대적 편향 제거를 결합해 영상과 문장의 실제 의미 관계를 학습하도록 유도합니다.
- 핵심 기능
영상 세그먼트와 검색 문장의 단어를 각각 인코딩한 뒤, 쿼리-투-비디오 및 비디오-투-쿼리 어텐션으로 특징을 융합해 문장에 대응하는 시간 구간을 결정합니다. 학습에는 쿼리 복원과 편향 판별을 활용하며, 실제 추론에서는 편향 생성기와 쿼리 복원 모듈을 제외하고 시간 구간을 예측할 수 있습니다.
- 차별 강점
기존 시계열 문장 그라운딩 모델은 특정 단어의 빈도나 정답 구간의 위치에 의존해, 학습 데이터와 분포가 다른 환경에서 성능이 저하될 수 있습니다. 본 기술은 품사 가중 마스킹, 정답 구간·주변 세그먼트 기반 쿼리 복원, 적대적 학습을 결합해 이러한 편향 의존을 완화하며, 제시된 정량 결과는 쿼리 복원 모듈의 효과를 중심으로 확인되었습니다.
- 활용 범위
기술·연구 측면에서는 자연어 기반 비디오 검색, 영상·언어 의미 정렬, 학습 데이터와 분포가 다른 환경의 영상 구간 탐색에 활용 가능합니다. 사업 측면에서는 동영상 아카이브·미디어 장면 탐색, 영상 감시·이벤트 검색, 지능형 영상 분석 및 멀티모달 AI API·SDK로 확장할 수 있습니다.
연구 개발 단계
Charades-CD와 ActivityNet-CD의 test-ood에서 쿼리 복원 모듈을 적용한 모델을 기존 모델 및 마스킹·융합·영상 구간 선택 변형과 비교했으며, 제시된 BSSARD 기반 실시예에서 성능 개선을 확인했습니다. 실제 기업 영상에서의 재현성, 장시간 영상 처리, 서비스 지연시간·자원 요구량과 지속적인 분포 변화 대응은 아직 추가 검증이 필요합니다.
- 데이터셋: Charades-CD 및 ActivityNet-CD의 test-ood 스플릿
- 비교 모델: 쿼리 복원 미적용 BSSARD·VSLNet, 2D-TAN 및 랜덤 마스킹·Video-centric·Full Video 변형
- 학습 환경: NVIDIA RTX 3090, Adam 옵티마이저, 배치 크기 16, 학습률 0.001
현재 성과
BSSARD에 쿼리 복원 모듈을 적용한 실시예의 Charades-CD test-ood 결과이며, 지표는 R@1, IoU@0.5입니다. 쿼리 복원을 적용하지 않은 비교 모델의 45.90%보다 높은 결과로, 학습 분포와 다른 환경에서 구간 검색 성능 개선을 확인했습니다.
BSSARD 기반 쿼리 복원 적용 모델을 ActivityNet-CD test-ood에서 평가한 R@1, IoU@0.5 결과입니다. 쿼리 복원 미적용 비교 모델은 23.65%였으며, 이는 벤치마크 비교 결과로서 기업별 실제 영상에서의 성능은 별도 PoC로 확인해야 합니다.
의미적으로 중요한 품사를 우선 마스킹하고 정답 구간·주변 영상을 이용해 복원한 실시예의 Charades-CD dR@1, IoU@0.5 결과입니다. 랜덤 마스킹 변형의 41.55%보다 높아, 단순히 단어를 가리는 방식과 구별되는 품사 기반 복원 설계의 효과를 확인했습니다. 이 결과를 적대적 학습을 포함한 전체 구조의 개별 효과 검증으로 확대 해석할 수는 없습니다.
상용화까지 남은 부분
실제 기업 영상 데이터에서 도메인별 시간 구간 검색 성능과 재현성 검증
대규모·장시간 영상 처리 성능 및 실서비스 지연시간·자원 요구량 검증
지속적으로 데이터 분포가 변하는 운영 환경에서 성능 유지 여부 검증
기술 이전 형태·도입 과정
도입은 이렇게 진행됩니다.
검토 미팅
귀사 상황·데이터 구조 기준으로 적합성을 논의합니다. 자료 검토만으로 끝나도 됩니다.
PoC 공동 검증
연구팀 동행 하에 귀사 데이터 기준 재학습·성능을 확인합니다.
라이센싱 계약
PoC 결과를 기반으로 희망 형태(실시권·공동연구 등)를 협의합니다.
기술지도·후속
도입 초기 기술지도, 필요 시 후속 공동연구·정부과제 연계까지 진행합니다.
특허 정보
시계열 문장 그라운딩 방법 및 장치
METHOD FOR TEMPORAL SENTENCE GROUNDING AND APPARATUS THEREOF
10-2025-0167627 (2025.01.01)
미등록 (심사 중)
최상일, 김선오, 태민우
단국대학교 산학협력단