시계열 문장 그라운딩 방법 및 장치

• 핵심 기능

비디오와 자연어 쿼리를 각각 인코딩한 뒤, 쿼리-투-비디오 및 비디오-투-쿼리 어텐션으로 특징을 융합하여 시작·종료 시점 확률과 해당 시간 구간을 산출합니다. 학습 과정에서는 정답 및 주변 영상 구간을 활용한 마스킹 단어 복원과 인위적 편향 벡터 기반 적대적 학습으로 의미 정렬 강화와 편향 완화를 수행합니다.

• 차별 강점

기존 시계열 문장 그라운딩 모델은 특정 단어의 빈도나 정답 시간 구간의 집중 같은 어노테이션 편향에 의존해, 학습 데이터와 분포가 다른 환경에서 성능이 저하될 수 있습니다. 본 기술은 쿼리-중심 단어 복원과 적대적 편향 제거를 함께 적용하는 구성이며, 제시된 쿼리 복원 모듈 적용 실험에서는 BSSARD 대비 분포 외 환경의 성능 개선을 확인했습니다.

• 활용 범위

기술·연구 측면에서는 비디오-자연어 의미 정렬, 자연어 기반 비디오 검색, 분포 변화에 강건한 멀티모달 학습 분야에 활용 가능합니다. 사업 측면에서는 영상 아카이브의 장면 탐색, 지능형 영상 분석, 영상 모니터링 및 콘텐츠 검색을 제공하는 기업·기관의 멀티모달 AI 서비스로 확장할 수 있습니다.