본 연구는 총 네가지의 연구 내용을 포함하고 있다. (1) End-to-End 온라인 시간적 행동 탐지 (Online Temporal Action Localization, On-TAL) 알고리즘 개발 - 본 연구팀은 세계최초로 2021 ICCV에서 OnTAL 태스크를 제안하였고, 문제를 해결하기 위해 강화학습의 일종인 모방학습 (imitation learning)을 활용함 - 본 연구에서는 학습이 불안정한 강화학습 프레임워크를 지도학습으로 전환하여 학습의 안정성을 확보하고 정확도를 개선시킬 계획임 - 강화학습 프레임워크를 추상화하여 시퀀스(sequence)로 모델링 할 수 있다면, 시퀀스 처리에 강력한 트랜스포머 구조를 적용할 수 있을 것으로 판단되며, 이러한 "decision transformer"를 기반으로 On-TAL의 학습을 안정화시키고 정확도를 높이는 연구를 추진할 계획임 (2) 비지도학습 기반 Generic Event Boundary Detection (GEBD) 알고리즘 개발 - 최근 소개된 GEBD 태스크는 비디오로부터 사람의 인지도식과 일치하는 이벤트 경계를 탐지하는 연구로서, event-centric 실시간 비디오 인식을 목적으로 하는 본 연구과제로의 확장 가능성이 높음 - GEBD와 On-TAL의 유기적 결합을 수행하는 본 연구과제는 실시간 비디오 인식이라는 연구 분과에서 새로운 패러다임을 제안 - 특히 프레임간의 유사도를 나타내는 temporal self-similarity matrix (TSM)을 활용하여 비디오에서의 이벤트 경계에서 나타나는 특유의 패턴을 찾는 방식을 비지도 학습을 통해 구현하여 GEBD 문제에 대한 해법을 찾을 계획 (3) 준지도학습 (semi-supervised learning) 및 비지도학습 기반의 On-TAL 알고리즘 개발 - 레이블 없는 일반적인 비디오에 대해 이벤트 경계를 추출하는 GEBD를 토대로, 본 연구과제의 주 task인 On-TAL의 성능을 높이고, 일반화 능력을 개선할 수 있는 새로운 훈련 알고리즘을 고안할 예정 - 특히 프레임 레벨의 [action/background]에 대한 결정들을 묶어준다는 선행 연구의 틀에서 벗어나, 이벤트 경계 중심의 (event-boundary centric) 알고리즘을 고안하여 서로 겹치는 액션 인스턴스들을 탐지할 수 있도록 하는 것에 방점을 둠 - 최종 연구단계에서는 event boundary-centric On-TAL 방법론 개발을 위해 MDP formulation을 바꾸는 등의 보다 본질적인 부분을 변경함으로서 새로운 방향의 연구를 추진할 계획임 (4) On-TAL의 평가 데이터셋 확대 및 평가기준 재정의를 통한 task의 실용성 재고 - 제안된 task의 취지와 더 잘 부합하는 새로운 데이터셋에 대한 확장 필요성이 있음. 이에 따라 본 연구에서는 On-TAL을 i) 비디오당 2시간에 이르는 축구 경기 생방송을 대상으로 하는 SoccerNetv2 데이터셋, ii) 비디오당 30분 정도 길이의 TV 시리즈와 영화 클립을 대상으로 하는 MUSES 데이터셋으로 확장하여 On-TAL의 산업상 이용가능성을 재고함 - 본 연구에서는 Hungarian Algorithm을 이용한 새 평가기준(가칭 Hungarian F1 score)을 정립하여, 비단 class-agnostic action instance detection의 성능을 정확하게 평가하는 것뿐만이 아니라, ground truth action instance들이 서로 겹치는 경우 등에 대해서도 정확하게 평가할 수 있도록 할 예정임