XVoice: 멀티모달 음성 메타학습

2024과학기술정보통신부사람중심인공지능핵심원천기술개발
프로젝트 소개
본 과제는 사람이 직접 소리를 내지 않아도 생체신호를 분석해 말한 내용을 알아내거나 음성으로 바꾸는 인공지능 기술을 개발하는 연구임. 특히 음성장애인처럼 조음기관의 이상으로 발화가 어려운 사람도 생체신호를 이용해 의사소통할 수 있도록 지원하는 기술임. 연구 목표는 멀티 모달 생체신호 데이터와 음성에 최적화된 메타 학습 기술, 개인별 적응형 음성 합성 기술 및 Silent Speech Interface(SSI) 구현임. 핵심 연구 내용은 한국어·영어 멀티모달 음성인식 데이터베이스 구축, Piezoresistive/Triboelectric, EGG, Gyro/Magnetic, Touch/Pressure, sEMG 등 다양한 센서 검증, 음성 장애 측정기기 프로토타입 개발임. 또한 Metric 기반·자기지도 학습 기반 메타학습, 다차원 텐서 기반 특징 선택, Outlier 대응 정규화 함수 및 적은 데이터에 대응하는 모델 개발을 추진함. 기대 효과는 잡음이 많은 환경이나 발화가 어려운 상황에서도 안정적인 음성인식 및 음성 합성을 지원하고, 의료·산업 분야의 데이터 처리 비용과 컴퓨팅 자원 부담을 줄이며, 음성장애인의 의사소통과 사회적 참여를 확대하는 데 있음.
메타학습멀티모달침묵형 음성인터페이스생체신호인공지능Meta LearningMulti ModalSilent Speech InterfaceBiosignalAI
참여형태
주관
사업명
사람중심인공지능핵심원천기술개발
부처명
과학기술정보통신부
주관기관명
인하대학
공동/위탁수행기관명
한국과학기술원, 서울대학
과제 수행연도
2024
과제 수행기간
2022.04.01 ~ 2026.12.31
과제 고유번호
2710008586
연구 개발단계
기초연구
연구비
총연구비
969,000,000 원
정부지원연구개발비
969,000,000 원
위탁연구비
0 원
민간연구비
0 원
주관/협동기관 정보
주관/협동수행기관명연구수행주체지역
주관인하대학대학기타
공동/위탁기관 정보2건
공동/위탁수행기관명연구수행주체참여형태공동연구비 수입금액 (원)공동연구비 지출금액 (원)
공동한국과학기술원대학연구·기술개발-230,000,000
공동서울대학대학연구·기술개발-260,000,000
과제 기반 국내외 특허0건
출원/등록 기관발명의 명칭출원일자출원국가출원번호등록일자등록번호
과제 기반 SCI(E) 논문0건
논문명학술지명DOI/URL