하이라이트 영상 자동생성 장치에서 수행되는 하이라이트 영상 자동생성 방법으로서, E-스포츠 중계 영상이 입력되는 단계; 입력된 영상에서 원시 특징을 추출하되, 상기 원시 특징은 비디오 특징, 오디오 특징, 채팅 특징을 포함하는, 원시 특징을 추출하는 단계; 상기 추출된 원시 특징을 기설정된 크기로 전처리하여 상기 전처리된 비디오 특징, 오디오 특징 및 채팅 특징을 상호 연결하는 단계; 상기 연결된 비디오 특징, 오디오 특징 및 채팅 특징에서 하이라이트 프레임을 분류하는 단계; 상기 분류된 하이라이트 프레임을 하이라이트 영상에 포함시킬 영상 클립으로 선택하는 단계; 선택된 영상 클립을 연결하여 하이라이트 영상을 생성하는 단계를 포함하고, 상기 원시 특징을 추출하는 단계에서는, 상기 입력된 영상에 포함된 비디오 데이터로부터 상기 비디오 특징을 추출하되, 상기 비디오 데이터는, 승패 확률에 영향을 미치는 정보인 소스 데이터를 통합한 것이며, 상기 연결하는 단계를 수행하기 이전에 상기 추출된 원시 특징 중 적어도 하나의 특징에 대해 스무딩 기법을 적용하는 단계를 더 포함하고, 상기 스무딩 기법을 적용하는 단계에서는, 점수 변경을 포함하는 특정 이벤트가 발생하는 시점을 기준으로 연속 비디오 세그먼트를 추출하기 위해 상기 비디오 특징에 이동 평균을 기반으로 하는 스무딩 기법을 적용하는 것인, 하이라이트영상 자동 생성방법.

제1항에 있어서, 상기 전처리된 비디오 특징, 오디오 특징 및 채팅 특징을 상호 연결하는 단계는, 상기 추출된 원시 특징에 포함된 상기 추출된 비디오 특징, 오디오 특징 및 채팅 특징을 LSTM(Long Short-Term Memory) 모델을 통해 동일한 크기로 리사이징(resizing)하여 상호 연결하는 것을 특징으로 하는 하이라이트 영상 자동생성 방법.

제2항에 있어서, 상기 연결된 비디오 특징, 오디오 특징 및 채팅 특징에서 하이라이트 프레임을 분류하는 단계는, 상기 LSTM 모델에 단일 FC(Fully-connected) 레이어를 추가하여 상기 LSTM 모델을 통해 상기 연결된 비디오 특징, 오디오 특징 및 채팅 특징에서 하이라이트 프레임 또는 비-하이라이트 프레임으로 분류하는 것을 특징으로 하는 하이라이트 영상 자동생성 방법.

삭제

E-스포츠 중계 영상을 입력받는 입력부;입력된 영상에서 원시 특징을 추출하되, 상기 원시 특징은 비디오 특징, 오디오 특징, 채팅 특징을 포함하는, 원시 특징을 추출하는 추출부; 상기 추출된 원시 특징을 기설정된 크기로 전처리하여 상기 전처리된 비디오 특징, 오디오 특징 및 채팅 특징을 상호 연결하는 연결부;상기 연결된 비디오 특징, 오디오 특징 및 채팅 특징에서 하이라이트 프레임을 분류하고, 상기 분류된 하이라이트 프레임을 하이라이트 영상에 포함시킬 영상 클립으로 선택하는 클립 생성부; 및 선택된 영상 클립을 연결하여 하이라이트 영상을 생성하는 하이라이트 생성부를 포함하고, 상기 추출부는, 상기 입력된 영상에 포함된 비디오 데이터로부터 상기 비디오 특징을 추출하되, 상기 비디오 데이터는, 승패 확률에 영향을 미치는 정보인 소스 데이터를 통합한 것이며,상기 연결부는, 상기 상호 연결을 수행하기 이전에 상기 추출된 원시 특징 중 적어도 하나의 특징에 대해 스무딩 기법을 적용하고, 상기 연결부는, 점수 변경을 포함하는 특정 이벤트가 발생하는 시점을 기준으로 연속 비디오 세그먼트를 추출하기 위해 상기 비디오 특징에 이동 평균을 기반으로 하는 스무딩 기법을 적용하는 하이라이트 영상 자동생성 장치.