멀티미디어 스토리 이해 및 내러티브 구조 추출

Multimedia Story Understanding and Narrative Structure Extraction

연구 내용

멀티미디어 영상에서 시맨틱 세그멘테이션과 장면 관계를 활용해 샷 유형과 인물(보조 플롯) 정보를 구조화함으로써 내러티브를 추출하는 연구

멀티미디어 영상의 샷 유형과 스토리 구성 요소는 감정·공간 정보처럼 복합적인 단서를 포함하므로, 단순 패턴 기반 분류를 넘어 의미 기반 전처리가 필요합니다. 연구에서는 프레임에 대한 시맨틱 세그멘테이션을 적용해 객체 경계와 관계 정보를 강화하고, 이를 CNN 기반 분류로 연결하여 샷 분류 성능을 개선합니다. 또한 카메라 모션 검출을 통해 줌·틸트·움직임 정보를 스토리 분석과 결합하며, 스토리로부터 보조 인물/역할을 추론하는 접근을 수행합니다. 최근에는 뉴럴 심볼릭 모델과 장면관계 그래프를 기반으로 메인 플롯과 서브 플롯을 추출하는 방향으로 확장합니다.

관련 프로젝트

1건

연구 흐름

초기에는 영화 분석에서 샷 유형이 감정·공간 맥락을 담는다는 관점에서, 프레임을 시맨틱 세그멘테이션으로 전처리한 뒤 분류기를 결합하는 방식으로 성능 향상을 확인했습니다. 이후 스토리 텍스트/구성에 포함된 보조 인물 역할을 탐지하여 서사 요소 추출로 범위를 넓혔습니다. 동시에 카메라 모션 정보를 영상-스토리 컨버전 측면에서 활용하는 연구를 수행하며, 움직임 기반 단서가 내러티브 해석에 기여하는 구조를 정리했습니다. 최근에는 이러한 시맨틱 단서와 관계 표현을 뉴럴 심볼릭 모델과 장면관계 그래프로 통합해 메인 플롯과 서브 플롯을 추출하는 연구를 진행하고 있습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

자동 샷 태깅 및 영화 메타데이터 생성
시맨틱 기반 영상 검색 및 탐색
스토리 구조 그래프 구축을 통한 추천
캐릭터 역할 분석 기반 스크립트 검증
플롯 요약 및 내러티브 하이라이트 생성
카메라 모션 기반 장면 정렬 자동화
영상 편집용 장면 후보 자동 분류
AR/VR 내러티브 브라우징 인터페이스
스토리 기반 콘텐츠 큐레이션 시스템
장면관계 기반 상호작용 미디어 생성