제1항에 있어서,상기 추출부는, 상기 이미지에서 상기 제1 패치의 우측에 인접한 제3 패치의 밝기값과 상기 임계값을 비교하고,상기 제3 패치의 밝기값이 상기 임계값 미만이면, 상기 이미지에서 상기 제3 패치의 상측에 위치한 패치들을 드롭아웃하는 것을 특징으로 하는, 장치.

제1항에 있어서,상기 분류부는,상기 추출된 패치에 주파수 정보 및 시간 정보를 부가하는 것을 특징으로 하는, 장치.

오디오 분류 장치에 있어서,오디오 정보를 전처리하여 이미지로 변환하도록 구성되는 변환부;상기 이미지를 복수개의 패치(patch)로 분할하도록 구성되는 분할부;상기 복수개의 패치 각각의 밝기값을 기 설정된 임계값과 비교한 결과에 기초하여 상기 복수개의 패치 중에서 기음(fundamental tone) 및 배음(overtone) 중 적어도 하나를 포함하는 패치를 추출하도록 구성되는 추출부; 및상기 추출된 패치를 기반으로 상기 오디오 정보를 분류하도록 구성되는 분류부를 포함하고, 상기 추출부는, 상기 복수개의 패치 중 상기 이미지의 최하단에 위치한 제1패치의 밝기값이 상기 임계값 이상이면, 상기 제1패치에 상기 기음 및 상기 배음 중 적어도 하나가 포함되는 것으로 판단하여 상기 제1패치를 추출하고, 상기 이미지에서 상기 제1패치의 상측에 인접한 제2패치의 밝기값이 상기 임계값 미만이면, 상기 제2패치 및 상기 이미지에서 상기 제2패치의 상측에 위치한 패치들을 드롭아웃하는 것을 특징으로 하는, 장치.

삭제

제1항에 있어서,상기 변환부는,상기 오디오 정보에 대해 STFT(short time fourier transform)를 수행하여 스펙트로그램(spectrogram)을 생성하고,상기 스펙트로그램을 필터링하여 멜-스펙트로그램(mel-spectrogram)으로 변환하는 것을 특징으로 하는, 장치.

제1항에 있어서,상기 추출부는,상기 복수개의 패치 각각에 포함된 픽셀들의 픽셀값들의 평균값을 계산하고 상기 평균값을 해당 패치의 밝기값으로 설정하는 것을 특징으로 하는, 장치.

삭제

삭제

제8항에 있어서,상기 분류부는,상기 주파수 정보 및 상기 시간 정보가 부가된 패치를 이용하여 오디오 분류 모델을 학습시키고, 상기 오디오 분류 모델을 기반으로 상기 오디오 정보에 대한 분류값을 도출하는 것을 특징으로 하는, 장치.

오디오 분류 장치에 의한 오디오 분류 방법에 있어서,오디오 정보를 전처리하여 이미지로 변환하는 단계;상기 이미지를 복수개의 패치로 분할하는 단계;상기 복수개의 패치 각각의 밝기값을 기 설정된 임계값과 비교한 결과에 기초하여 상기 복수개의 패치 중에서 기음 및 배음 중 적어도 하나를 포함하는 패치를 추출하는 단계; 및상기 추출된 패치를 기반으로 상기 오디오 정보를 분류하는 단계를 포함하고, 상기 패치를 추출하는 단계는, 상기 복수개의 패치 중 상기 이미지의 최하단에 위치한 제1패치의 밝기값이 상기 임계값 이상이면, 상기 제1패치에 상기 기음 및 상기 배음 중 적어도 하나가 포함되는 것으로 판단하여 상기 제1패치를 추출하는 단계; 및상기 이미지에서 상기 제1패치의 상측에 인접한 제2패치의 밝기값이 상기 임계값 미만이면, 상기 제2패치 및 상기 이미지에서 상기 제2패치의 상측에 위치한 패치들을 드롭아웃하는 단계를 포함하는 방법.

삭제

제10항에 있어서,상기 변환하는 단계는,상기 오디오 정보에 대해 STFT를 수행하여 스펙트로그램을 생성하는 단계; 및상기 스펙트로그램을 필터링하여 멜-스펙트로그램으로 변환하는 단계를 포함하는 것을 특징으로 하는, 방법.

제10항에 있어서,상기 분할하는 단계 이후에,상기 복수개의 패치 각각에 포함된 픽셀들의 픽셀값들의 평균값을 계산하는 단계; 및상기 평균값을 해당 패치의 밝기값으로 설정하는 단계를 더 포함하는 것을 특징으로 하는, 방법.

삭제

삭제

제10항에 있어서,상기 드롭아웃하는 단계 이후에,상기 이미지에서 상기 제1 패치의 우측에 인접한 제3 패치의 밝기값과 상기 임계값을 비교하는 단계; 및상기 제3 패치의 밝기값이 상기 임계값 미만이면, 상기 이미지에서 상기 제3 패치의 상측에 위치한 패치들을 드롭아웃하는 단계를 포함하는 것을 특징으로 하는, 방법.

제10항에 있어서,상기 추출하는 단계 이후에,상기 추출된 패치에 주파수 정보 및 시간 정보를 부가하는 단계를 더 포함하는 것을 특징으로 하는, 방법.

제17항에 있어서,상기 분류하는 단계는,상기 주파수 정보 및 상기 시간 정보가 부가된 패치를 이용하여 오디오 분류 모델을 학습시키는 단계; 및상기 오디오 분류 모델을 기반으로 상기 오디오 정보에 대한 분류값을 도출하는 단계를 포함하는 것을 특징으로 하는, 방법.

컴퓨터 판독 가능 기록매체에 저장되는 컴퓨터 프로그램으로서,상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,오디오 정보를 전처리하여 이미지로 변환하는 단계와,상기 이미지를 복수개의 패치로 분할하는 단계와,상기 복수개의 패치 각각의 밝기값을 기 설정된 임계값과 비교한 결과에 기초하여 상기 복수개의 패치 중에서 기음 및 배음 중 적어도 하나를 포함하는 패치를 추출하는 단계와,상기 추출된 패치를 기반으로 상기 오디오 정보를 분류하는 단계를 포함하고, 상기 패치를 추출하는 단계는, 상기 복수개의 패치 중 상기 이미지의 최하단에 위치한 제1패치의 밝기값이 상기 임계값 이상이면, 상기 제1패치에 상기 기음 및 상기 배음 중 적어도 하나가 포함되는 것으로 판단하여 상기 제1패치를 추출하는 단계; 및상기 이미지에서 상기 제1패치의 상측에 인접한 제2패치의 밝기값이 상기 임계값 미만이면, 상기 제2패치 및 상기 이미지에서 상기 제2패치의 상측에 위치한 패치들을 드롭아웃하는 단계를 포함하는 오디오 분류 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 프로그램.

컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,오디오 정보를 전처리하여 이미지로 변환하는 단계와,상기 이미지를 복수개의 패치로 분할하는 단계와,상기 복수개의 패치 각각의 밝기값을 기 설정된 임계값과 비교한 결과에 기초하여 상기 복수개의 패치 중에서 기음 및 배음 중 적어도 하나를 포함하는 패치를 추출하는 단계와,상기 추출된 패치를 기반으로 상기 오디오 정보를 분류하는 단계를 포함하고,상기 패치를 추출하는 단계는, 상기 복수개의 패치 중 상기 이미지의 최하단에 위치한 제1패치의 밝기값이 상기 임계값 이상이면, 상기 제1패치에 상기 기음 및 상기 배음 중 적어도 하나가 포함되는 것으로 판단하여 상기 제1패치를 추출하는 단계; 및상기 이미지에서 상기 제1패치의 상측에 인접한 제2패치의 밝기값이 상기 임계값 미만이면, 상기 제2패치 및 상기 이미지에서 상기 제2패치의 상측에 위치한 패치들을 드롭아웃하는 단계를 포함하는 오디오 분류 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독 가능 기록매체.