시청각 자극 기반 뇌파-감정 매핑을 이용한 자동 감정 분류

시청각 자극 동안 생성되는 뇌파 특징을 추출하고 영상 특징과의 매핑을 학습해, 뇌파 측정 없이도 감정 클래스를 자동 분류하는 연구

감정 분류는 뇌파 측정 장비가 필요해 활용성이 제한되는 문제가 있습니다. 본 연구는 영상 시청 중 생성되는 감정 관련 뇌파 특성을 추출하기 위해 sample-attention 기반 딥 신경망 인코더를 사용하고, 동시에 영상에 대응하는 시청각 특징과의 직접 매핑 관계를 학습합니다. 이후 학습된 능력을 기반으로 입력 영상에 대해 뇌파를 별도로 측정하지 않고도 감정 뇌파 특징을 자동 생성하여 디코더에 투입한 뒤 감정 클래스를 분류합니다. 이를 통해 영상만으로도 감정 분류가 가능하도록 하는 교차모달 학습 구조를 구성하며, 뇌파-콘텐츠의 특징 정렬을 기반으로 자동화 성능을 확보합니다.