주관연구개발기관 1. 다양한 생체신호 기반 음성인식을 위한 Metric 방식의 메타학습 - 생체신호에 적합한 특성 추출 알고리즘을 통해 Meta-train, Meta-test dataset 선정 및 구축하고, 관련 메타학습 기법을 생체신호 기반 음성인식에 적용 및 개발한다 2. 일반적 음성인식 멀티모달 데이터베이스 구축 (한국어, 영어) - 한국어 및 영어의 멀티모달 기반 음성인식 : 다양한 생체신호 센서 검증(Piezoresistive/Triboelectric, EGG, Gyro/Magnetic, Touch/Pressure, sEMG 등), 일반적 환경에서 일반인 대상 생체신호, 음성신호 등의 복합적인 데이터를 수집 3. 음성 장애 측정기기 프로토타입 개발 - 정상인과 음성장애인에 따라 소리의 형태가 달라 본 연구에서 진행하려는 음성 인식 및 합성에 데이터 분포가 달라질 수 있음. 따라서 정상인과 음성장애인을 식별하기 위해 다음과 같은 세 종류의 음성 분류 모델을 프로토타입 개발 4. 음성장애인의 데이터 왜곡방지를 위해 Outlier 대응 정규화 함수 도입 - 과다적합 및 과소적합 예방 공동연구개발기관 1 1. 자기지도 학습 기반의 일반 음성 메타 학습 기법 연구 - 본 연구에 공개된 대용량의 오디오 음성 신호를 이용하되 레이블 혹은 텍스트가 필요 없는 데이터를 사용하고, 음고(pitch) 정보를 담고 있는 소스 모델에 f0 추정 알고리즘 등을 적용해보고 발음 정보를 담고 있는 필터 모델에 사전 훈련된 wav2vec 모델 등을 적용해보며 연구를 진행한다 2. 다양한 센서 소스로부터 발생되는 데이터에 대해서 효율적인 모델 학습을 위한 다차원 텐서 기반의 특징 선택 기법 - 사람의 발화 별로 다양한 센서 소스로부터 매 타임스탬프 별로 데이터가 발생하고 이를 발화, 센서 종류, 센서 값, 시간의 4차원 텐서로 표현할 수 있다. 이때 터커 분해를 통해 주어진 텐서 데이터를 요인 행렬들과 코어 텐서로 분리하고 동일한 사람에게서 새로운 발화가 들어왔을 때, 기존에 얻어진 요인 행렬들을 활용하여 기존의 여러 발화들의 공통적인 성질들을 고려하면서 새로운 발화의 특징 텐서를 추출할 수 있다. 발화 별 특징 센서는 센서-텍스트 모델의 입력으로 사용될 수 있다. 공동연구개발기관 2 1. 멀티모달 메타학습을 위한 메타학습 원형기술 개발 및 모델의 의사결정 과정 분석 - Metric 기반, Model 기반 그리고 Optimiztion 기반 메타학습에 대한 선행연구를 조사하여, 확보된 음성, 영상, 센서 등 여러 유형의 데이터에 적절한 방법론을 연구 - 적은 양의 데이터로도 원하는 테스크에서 높은 성능을 보이