하나 이상의 프로세서 및 상기 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 포함하는 컴퓨팅 디바이스에 의해 수행되는 잡음 제거 방법에 있어서, 상기 컴퓨팅 디바이스는, 화자의 음성과 잡음으로 구성된 혼합 음성을 입력 받는 음성 입력 단계;상기 혼합 음성을 기반으로 실제 원본 음성인 제2 음성(A)과 비교하기 위한 제1 음성(A')을 생성하는 더미 음성 생성 단계;상기 제1 음성을 상기 제2 음성(A)을 이용하여 음성을 구분하고, 상기 혼합 음성과 상기 제1 음성 및 상기 제2 음성 각각을 기반으로 생성된 잔차 잡음을 이용하여 잡음을 구분하여 학습하는 혼합 음성 구분 단계; 및상기 음성 및 상기 잡음을 구분한 학습결과를 기반으로 신규 혼합 음성에 대한 잡음을 제거한 최종 음성을 생성하는 잡음 제거음성 생성 단계를 수행하되,상기 혼합 음성 구분 단계는, 상기 제1 음성 및 상기 제2 음성이 동일한 음성인지 여부를 구분하는 음성 구분 단계; 및 상기 혼합 음성과 상기 제1 음성을 기반으로 생성된 제1 잔차 잡음과 상기 혼합 음성과 상기 제2 음성을 기반으로 생성된 제2 잔차 잡음이 동일한 잡음인지 여부를 구분하는 잡음 구분 단계를 포함하는 것을 특징으로 하는 잡음 제거 방법.

제1항에 있어서,상기 더미 음성 생성 단계는,상기 실제 원본 음성의 웨이브폼 세그먼트와 여러 잡음들이 합성된 상기 혼합 음성의 웨이브폼 세그먼트가 매핑된 데이터셋을 사용하여 상기 제1 음성을 생성하는 것을 특징으로 하는 잡음 제거 방법.

제1항에 있어서,상기 더미 음성 생성 단계는,상기 혼합 음성에서 잡음을 제거하기 위하여 상기 혼합 음성의 압축을 수행하는 혼합 음성 압축 단계; 및압축된 혼합 음성을 재구성하여 상기 제1 음성(A')을 생성하는 데이터 재구성 단계를 포함하는 것을 특징으로 하는 잡음 제거 방법.

삭제

제1항에 있어서,상기 음성 구분 단계는, 상기 제1 음성과 상기 제2 음성을 입력 받고, 상기 제1 음성이 상기 제2 음성과 동일한 음성인지 여부를 구분하여 참 신호 또는 거짓 신호에 대한 플래그(Flag) 값을 출력하는 것을 특징으로 하는 잡음 제거 방법.

제1항에 있어서,상기 잡음 구분 단계는,상기 혼합 음성과 상기 제1 음성을 기반으로 생성된 제1 잔차 잡음과 상기 혼합 음성과 상기 제2 음성을 기반으로 생성된 제2 잔차 잡음을 입력 받고, 상기 제1 잔차 잡음이 상기 제2 잔차 잡음과 동일한 음성인지 여부를 구분하여 참 신호 또는 거짓 신호에 대한 플래그(Flag) 값을 출력하는 것을 특징으로 하는 잡음 제거 방법.

제6항에 있어서,상기 잡음 구분 단계는,상기 혼합 음성에서 상기 제1 음성을 제거한 상기 제1 잔차 잡음과 상기 혼합 음성에서 상기 제2 음성을 제거한 상기 제2 잔차 잡음을 비교하여 잡음을 구분하는 것을 특징으로 하는 잡음 제거 방법.

제1항에 있어서,상기 음성 구분 단계는,상기 더미 음성 생성 단계와 연동하여 상기 제1 음성 및 상기 제2 음성을 구분하기 위하여 생성적 적대 신경망(GAN: Generative Adversarial Network) 학습을 수행하며, 상기 잡음 구분 단계는, 상기 더미 음성 생성 단계과 연동하여 상기 제1 잔차 잡음 및 상기 제2 잔차 잡음을 구분하기 위하여 생성적 적대 신경망(GAN) 학습을 수행하는 것을 특징으로 하는 잡음 제거 방법.

제1항에 있어서,상기 잡음 제거음성 생성 단계는,상기 음성 구분 단계와 연동하여 상기 제1 음성과 상기 제2 음성을 구분한 제1 학습 결과를 획득하고, 상기 잡음 구분 단계와 연동하여 상기 제1 잔차 잡음과 상기 제2 잔차 잡음을 구분한 제2 학습 결과를 획득하며, 상기 제1 학습 결과와 상기 제2 학습 결과를 기반으로 잡음이 제거된 최종 음성을 생성하는 것을 특징으로 하는 잡음 제거 방법.

혼합 음성에서 잡음을 제거하는 장치로서, 하나 이상의 프로세서; 및 상기 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 포함하며, 상기 프로그램들은 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서들에서,화자의 음성과 잡음으로 구성된 혼합 음성을 입력 받는 음성 입력 단계;상기 혼합 음성을 기반으로 실제 원본 음성인 제2 음성(A)과 비교하기 위한 제1 음성(A')을 생성하는 더미 음성 생성 단계;상기 제1 음성을 상기 제2 음성(A)을 이용하여 음성을 구분하고, 상기 혼합 음성과 상기 제1 음성 및 상기 제2 음성 각각을 기반으로 생성된 잔차 잡음을 이용하여 잡음을 구분하여 학습하는 혼합 음성 구분 단계; 및상기 음성 및 상기 잡음을 구분한 학습결과를 기반으로 신규 혼합 음성에 대한 잡음을 제거한 최종 음성을 생성하는 잡음 제거음성 생성 단계를 포함하는 동작들을 수행하게 하되,상기 혼합 음성 구분 단계는, 상기 제1 음성 및 상기 제2 음성이 동일한 음성인지 여부를 구분하는 음성 구분 단계; 및 상기 혼합 음성과 상기 제1 음성을 기반으로 생성된 제1 잔차 잡음과 상기 혼합 음성과 상기 제2 음성을 기반으로 생성된 제2 잔차 잡음이 동일한 잡음인지 여부를 구분하는 잡음 구분 단계를 포함하는 것을 특징으로 하는 잡음 제거 장치.

삭제

제10항에 있어서,상기 음성 구분 단계는, 상기 제1 음성과 상기 제2 음성을 입력 받고, 상기 제1 음성이 상기 제2 음성과 동일한 음성인지 여부를 구분하여 참 신호 또는 거짓 신호에 대한 플래그(Flag) 값을 출력하는 것을 특징으로 하는 잡음 제거 장치.

제10항에 있어서,상기 잡음 구분 단계는,상기 혼합 음성과 상기 제1 음성을 기반으로 생성된 제1 잔차 잡음과 상기 혼합 음성과 상기 제2 음성을 기반으로 생성된 제2 잔차 잡음을 입력 받고, 상기 제1 잔차 잡음이 상기 제2 잔차 잡음과 동일한 음성인지 여부를 구분하여 참 신호 또는 거짓 신호에 대한 플래그(Flag) 값을 출력하는 것을 특징으로 하는 잡음 제거 장치.