샷 유형 결정은 선택된 샷 유형으로부터 감정, 등장인물의 심리, 공간 정보와 같은 방대한 정보가 제공되기 때문에 영화 분석에서 매우 중요한 사전 과제이다. 다양한 영화를 분석하기 위해서는 샷 유형을 자동으로 분류하는 기법이 필요하다. 선행 샷 유형 분류 연구들은 얼굴 화면 내 비율을 기반으로 샷 유형을 분류하거나, 합성곱 신경망(CNN)을 이용하여 분류하였다. 얼굴 화면 내 비율에 기반한 연구들은 화면에 인물이 나타나지 않는 경우 그 샷을 분류하지 못하였다. 반면 CNN은 화면에 인물이 없더라도 샷 유형을 분류하지만, 일부 샷은 이미지의 의미론적 분석이 아니라 이미지의 특징과 패턴만으로 분류하기 때문에 분류가 불가능한 경우가 있다. 따라서 이미지에 의미론적으로 접근하기 위한 추가 정보가 필요하며, 이는 의미론적 분할(semantic segmentation)을 통해 수행할 수 있다. 이에 따라 본 연구에서는 영화에서 추출한 프레임의 의미론적 분할 전처리를 통해 샷 유형 분류 성능을 향상시켰다. 의미론적 분할은 이미지를 의미론적으로 해석하고, 객체 간 경계 관계를 구분한다. 의미론적 분할의 대표적 기술로는 Mask R-CNN과 Yolact가 있다. 본 연구에서는 이들을 샷 유형 분류의 전처리로 사용했을 때의 성능을 비교·평가하기 위한 연구를 수행하였다. 그 결과, 의미론적 분할 전처리를 적용한 프레임을 사용한 샷 유형 분류의 평균 정확도는 그러한 전처리를 적용하지 않은 프레임을 사용한 경우에 비해 1.9% 증가하여 93%에서 94.9%로 향상되었다. 특히 ResNet-50과 Yolact를 사용한 경우, 샷 유형 분류의 성능이 3% 향상되어 정확도는 93%에서 96%로 증가하였다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.