최근 음성 감정 인식(Speech emotion recognition, SER) 성능은 여러 딥러닝 아키텍처가 적응하면서 꾸준히 향상되어 왔다. 특히 스펙트로그램 기반 전처리를 사용하는 합성곱 신경망(convolutional neural network, CNN) 모델이 SER에서 가장 널리 사용되는 접근법이다. 그러나 SER를 위한 효과적이고 효율적인 전처리 방법 및 CNN 기반 모델을 설계하는 문제는 여전히 모호하다. 따라서 SER를 위한 보다 구체적인 전처리 방법과 CNN 기반 모델을 탐색할 필요가 있다. 먼저 SER에 적합한 주파수-시간 해상도를 탐색하기 위해, 전처리 설정이 서로 다른 8개의 서로 다른 데이터셋을 준비한다. 또한 감정 특성 해상도의 부족을 보완하기 위해, 모든 서로 다른 크기의 윈도우를 사용하여 학습 가능한 데이터를 확장하는 다중 단기 푸리에 변환(short-term Fourier transform, STFT) 전처리 데이터 증강을 제안한다. 다음으로, CNN의 채널 필터가 잠재된 입력 특성을 탐지하는 데 핵심이므로, 채널 필터가 SER에 미치는 유효성에 초점을 둔다. 이를 위해 6층 CNN 모델을 포함하는 여러 유형의 아키텍처를 설계한다. 또한 채널 특징 표현을 소수의 파라미터만으로 개선하는 것으로 잘 알려진 효율적 채널 주의(efficient channel attention, ECA)를 적용한 결과, SER을 위한 채널 필터를 보다 효율적으로 학습할 수 있음을 확인한다. 두 가지 SER 데이터셋(Interactive Emotional Dyadic Motion Capture, Berlin Emotional Speech Database)에서, 전처리 단계에서 감정 음성의 주파수 해상도를 증가시키는 것이 감정 인식 성능을 향상시킬 수 있었다. 결과적으로 ECA 블록 2개만 사용한 CNN 기반 모델이 기존의 SER 모델 성능을 초과한다. 특히 STFT 데이터 증강을 적용했을 때, 본 연구에서 제안한 모델은 SER에서 가장 높은 성능을 달성한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.