프로젝트 소개
본 과제는 스트리밍 비디오를 실시간으로 이해하는 온라인 비디오 이해 기술 개발 연구임. 기존 비디오 이해 기술의 오프라인 한계를 보완하고, 스포츠 중계, 자율주행, robot interaction, 문자중계 서비스 등에서 바로 활용 가능한 AI 시스템 구축이 목적임.
연구 목표는 online temporal action localization(On-TAL)과 Generic Event Boundary Detection(GEBD)을 결합해 행동의 시작·끝과 세부 경계를 정확히 탐지하는 데 있음. 핵심 연구 내용은 imitation learning 기반 On-TAL의 지도학습 전환, decision transformer 적용, 비지도학습 기반 GEBD와 temporal self-similarity matrix(TSM) 활용, semi-supervised learning 및 event-boundary centric 알고리즘 개발, SoccerNetv2·MUSES 확장과 Hungarian F1 score 재정의임. 기대 효과는 온라인 비디오 이해의 연구 촉진, 산업적 활용성 향상, 미래 메타버스·비디오 스트리밍 AI 서비스 고도화 기반 마련임.