네오엔터디엑스
말풍선의 화자 식별을 통한 웹툰의 음성 자동 추출 시스템
An automatic audio extraction system for webtoon by identifying speakers of a speech buble
특허 요약
본 발명은 말풍선의 화자 식별을 통한 웹툰의 음성 자동 추출 시스템에 관한 것으로서, 서로 다른 음색을 가진 다수의 텍스트 음성 전환(TTS)용 음성(이하 TTS 음성)을 성별 또는 나이에 따라 사전에 분류하여 저장하는 TTS음성 관리부; 다수의 컷으로 구성되는 웹툰을 입력받는 웹툰 입력부; 상기 웹툰의 등장인물의 특징을 추출하는 인물특징 추출부; 상기 웹툰의 각 컷에서 등장인물의 특징을 이용하여, 각 등장인물의 영역을 설정하는 인물영역 설정부; 상기 웹툰의 각 컷에서 말풍선을 검출하고, 검출된 말풍선 내의 문장을 인식하는 말풍선 인식부; 상기 말풍선의 화자를 추정하되, 상기 말풍선의 꼬리 방향을 검출하여, 검출된 꼬리 방향을 이용하여 말풍선의 화자를 추정하는 화자 추정부; 각 등장인물에 서로 다른 음색의 TTS 음성을 매핑하는 화자음성 매핑부; 및, 상기 말풍선의 화자로 추정된 등장인물의 TTS 음성으로, 상기 말풍선의 문장을 출력하는 출력부를 포함하는 구성을 마련한다. 상기와 같은 시스템에 의하여, 말풍선의 화자를 식별하여 해당 말풍선의 대사를 해당 화자의 고유 음색으로 출력함으로써, 음색으로 각 등장인물을 식별할 수 있고 보다 자연스런 애니메이션화 할 수 있다.
청구항
번호청구항
1

말풍선의 화자 식별을 통한 웹툰의 음성 자동 추출 시스템에 있어서,서로 다른 음색을 가진 다수의 텍스트 음성 전환(TTS)용 음성(이하 TTS 음성)을 성별 또는 나이에 따라 사전에 분류하여 저장하는 TTS음성 관리부;다수의 컷으로 구성되는 웹툰을 입력받는 웹툰 입력부;상기 웹툰의 등장인물의 특징을 추출하는 인물특징 추출부;상기 웹툰의 각 컷에서 등장인물의 특징을 이용하여, 각 등장인물의 영역을 설정하는 인물영역 설정부;상기 웹툰의 각 컷에서 말풍선을 검출하고, 검출된 말풍선 내의 문장을 인식하는 말풍선 인식부;상기 말풍선의 화자를 추정하되, 상기 말풍선의 꼬리 방향을 검출하여, 검출된 꼬리 방향을 이용하여 말풍선의 화자를 추정하는 화자 추정부;각 등장인물에 서로 다른 음색의 TTS 음성을 매핑하는 화자음성 매핑부; 및,상기 말풍선의 화자로 추정된 등장인물의 TTS 음성으로, 상기 말풍선의 문장을 출력하는 출력부를 포함하고,상기 화자 추정부는 말풍선이 꼬리를 가지지 않는 경우, 사전에 정해진 규칙에 의하여 화자를 결정하되, 컷 내에 등장인물의 영역이 있는 경우 해당 말풍선의 영역이 등장인물의 영역과 겹치거나 근접하면 해당 영역의 등장인물을 화자로 결정하거나, 등장인물이 없는 경우 직전 컷에서 마지막으로 말한 화자를 해당 말풍선의 화자로 결정하는 것을 특징으로 하는 말풍선의 화자 식별을 통한 웹툰의 음성 자동 추출 시스템.