본 연구의 최종 목표는 공통의 관심 영역으로부터 여러 방향으로 수집된 영상/음향 데이터를 입력받았을 때, 다방향 영상·음향 기반의 음원 분리/로컬라이제이션 (multi-faceted audio-visual source separation and localization)을 수행할 수 있는 딥러닝 기반 모델을 개발하는 것임.
신호처리
다방향 영상·음향
음원 분리
소스 로컬라이제이션
딥러닝
2
주관|
2021년 3월-2024년 2월
|550,835,000원
딥러닝 기반의 다중음원 오디오에 대한 음원선별적 편집 모델 연구
연구목표 달성을 위해 다음 세부 모델 및 프레임워크를 연구/개발함:
- 다중음원 데이터셋 기반 훈련 프레임워크 (다중음원 데이터셋은 음원 별 오디오가 제공하지 않는다고 가정)
- 잠재 음원성분 분석모델
- Language Model 기반 편집명령 해석모델
- 선별적 편집을 위한 Attention 기반 변조모델
신경망 기반 스펙트로그램 변환 블록 개발을 위해, 첫째로 Time-Invariant feature 강화 기반 변환 스펙트로그램 변환 기법 연구를 진행하여 음향신호의 고유특성을 분석하고, 둘째로 Self-Attention 기반 잠재 음원표상 변환 기법을 연구하여 음원 간 상호간섭 문제를 해소함. 마지막으로 음원분리, 음성강화, 자동악보생성에 제안 모델을 적용하여, 모델의 효용성 검증을 위한 실험평가를 진행함.
본 과제는 신산업분야에 특화된 디자인-엔지니어링 석·박사 전문인력을 체계적으로 양성하고, 기업과 대학이 함께 실무형 교육을 운영하는 컨소시엄 구축 연구임.
연구 목표는 768명 인력양성, 8개 대학-78개 기업-13개 글로벌 네트워크 기반 공유형 교육역량 확보, 글로벌 TOP3 디자인 경쟁력 확보임. 핵심 연구 내용은 IoT, 로봇, 모빌리티, AI, AR/VR 등 신기술 융합 디자인 교과과정 개발, 산업계 수요 도출 후 산·학 연계 프로젝트 수행, 현장 실무 중심 단기 집중 교육, 고용연계 및 만족도·취업률 환류시스템 구축임. 기대효과는 디자인기술력 및 산업경쟁력 향상, 우수 여성·지역인재의 취·창업 역량 강화, 디자인-엔지니어링 전문기술 확보, 창직·신산업 창출형 인재 확보임.
❍ 본 연구에서는 ‘인공신경망 기반 고차원 범위질의처리 기법’을 연구/개발함
❍ 세부 연구내용 1: 인공신경망 기반 LP-MF Model 연구/개발
● 다차원 범위질의 지원 시, 다차원 key (e.g. query range의 lower 또는 upper bound) 값에 해당하는 객체의 인덱스 레코드가 저장된 메모리 공간의 주소를 예측하기 위해, LP-MF Model을 개발함
❍ 세부 연구내용 2: LP-MF Model 기반 다차원 범위질의 처리 기법 연구/개발
● LP-MF 모델을 이용하여 디스크에 저장된 데이터를 효율적으로 탐색할 수 있도록 Index Record Block을 개발함. 각 Index Record들은 0~1 값을 가지는 LP-MF 결과값을 디스크 주소공간으로 mapping함
❍ 세부 연구내용 3: 효율적인 Incremental updating 기법 개발
■ ① sliding-window 기반 하이브리드 인덱스 구축 방법 개발 : 기존 데이터에 대해 구축된 LP-MF Model 및 Index Record Block을 직접 갱신하는 대신, 일정 기간 동안 삽입된 데이터에 대해 독립적으로 동작하는 인덱스를 별도로 관리하는 이종(heterogeneous) 인덱스를 구축함
■ ② 전이학습 기반 LP-MF 재학습 기법 개발: 기존에 학습된 LP-MF Model와 이종 관리되던 인덱스를 통합하는 기법을 개발함. 예를 들어 특정 데이터 분포에 이미 학습된 신경망을 활용하여, 다른 유사한 데이터 분포에 대한 학습을 재학습 시간을 단축시켜주는 전이학습 기법의 적용 가능성을 검토함