soundlab
전기및전자공학부 최정우
KAIST 전기및전자공학부 소속 SSS 연구실은 인공지능과 음향공학의 융합을 통해 차세대 공간 음향 및 신호처리 기술을 선도적으로 연구하고 있습니다. 본 연구실은 3D 오디오, 공간 음향 재현, 음성 향상 및 분리, 이상음 탐지, 실내 공간 추정 등 다양한 분야에서 세계적인 수준의 연구 성과를 내고 있습니다. 특히, AI 기반의 음향 신호처리 기술을 바탕으로 실감형 미디어, 메타버스, 스마트 디바이스, 자동차, 보안, 헬스케어 등 다양한 산업 분야에 적용 가능한 혁신적인 솔루션을 개발하고 있습니다.
연구실의 대표적인 연구 주제로는 딥러닝 기반의 바이노럴 오디오 렌더링, HRTF 모델링, 실내외 환경에 적응하는 3D 오디오 신(scene) 생성, 그리고 마이크로폰 및 스피커 어레이를 활용한 공간 음장 제어 등이 있습니다. 또한, 음성 신호의 품질 향상과 분리, 다양한 잡음 환경에서의 음성 복원, 그리고 Transformer 기반의 목표 음원 추출 등 최신 신경망 구조를 활용한 연구도 활발히 진행되고 있습니다. 이러한 기술들은 실제 산업 현장, 가전제품, 드론, 차량 등에서의 이상음 탐지 및 음성 품질 향상에 적용되고 있습니다.
음향 신호를 활용한 실내 공간 추정 및 디지털 트윈 구축 분야에서도 독창적인 연구가 이루어지고 있습니다. EchoScan과 같은 딥러닝 기반 모델을 통해 음향 반사 신호로부터 방의 평면도와 높이 정보를 직접 추정할 수 있으며, 이는 디지털 트윈, 실내 내비게이션, 가상현실, 건축 설계 등 다양한 분야에 활용되고 있습니다. 또한, 음향 신호만으로도 카메라가 볼 수 없는 숨겨진 영역까지 추정할 수 있어 보안 및 프라이버시가 중요한 환경에서도 효과적으로 적용 가능합니다.
연구실은 국내외 주요 학회 및 저널에 다수의 논문을 발표하고 있으며, 다양한 특허와 산학협력 프로젝트를 통해 실용적인 연구 성과를 창출하고 있습니다. 또한, DCASE Challenge, 한국음향학회, 국제 소음진동공학회 등에서 우수한 성과를 거두며 연구 역량을 인정받고 있습니다. 앞으로도 SSS 연구실은 인공지능과 음향공학의 융합을 통해 더욱 정밀하고 실감나는 공간 음향 솔루션을 제공하는 것을 목표로, 세계적인 연구실로 도약해 나갈 것입니다.
연구실 구성원들은 최신 신경망 구조와 음향 신호처리 기술을 결합하여, 더욱 정확하고 신뢰성 높은 음성 및 음향 신호 처리 기술을 개발하고 있습니다. 이러한 연구는 몰입형 미디어, 스마트 디바이스, 자동차, 가상 회의 시스템, 산업 자동화, 헬스케어 등 다양한 분야에서 실제 사용자 경험을 극대화하는 데 기여하고 있습니다. 앞으로도 SSS 연구실은 창의적이고 혁신적인 연구를 통해 음향공학 및 인공지능 분야의 발전을 이끌어 나갈 것입니다.
Multichannel Speech Enhancement
Drone Target Classification
Sound Event Localization
AI 기반 3D 오디오 및 공간 음향 처리
본 연구실은 인공지능 기술을 활용한 3D 오디오 및 공간 음향 처리 분야에서 선도적인 연구를 수행하고 있습니다. 최근 가상현실, 증강현실, 메타버스 등 다양한 응용 분야에서 실감나는 공간 음향의 구현이 필수적으로 요구되고 있습니다. 이를 위해 연구실에서는 딥러닝 기반의 바이노럴 렌더링, HRTF(Head-Related Transfer Function) 모델링, 그리고 다양한 환경에 적응 가능한 오디오 신호 처리 기법을 개발하고 있습니다.
특히, 실내외 환경의 음향 특성을 정확하게 파악하고, 사용자의 위치나 환경 변화에 따라 최적화된 3D 오디오를 실시간으로 생성하는 기술에 집중하고 있습니다. 예를 들어, 딥러닝을 활용하여 오디오 신호로부터 환경 정보를 추출하고, 이를 바탕으로 실제 공간에 맞는 3D 오디오 신(scene)을 재생하는 시스템을 연구합니다. 또한, 다양한 마이크로폰 및 스피커 어레이를 이용한 공간 음장 재현, 음향 포커싱, 사운드 필드 조작 등도 주요 연구 주제입니다.
이러한 연구는 몰입형 미디어, 스마트 디바이스, 자동차, 가상 회의 시스템 등 다양한 산업 분야에 적용될 수 있으며, 실제 사용자 경험을 극대화하는 데 기여하고 있습니다. 앞으로도 AI와 음향공학의 융합을 통해 더욱 정밀하고 실감나는 공간 음향 솔루션을 제공하는 것을 목표로 하고 있습니다.
음성 향상 및 분리, 이상음 탐지
연구실에서는 음성 신호의 품질 향상과 분리, 그리고 이상음 탐지 분야에서도 활발한 연구가 이루어지고 있습니다. 실제 환경에서는 다양한 잡음과 잔향, 복잡한 음향 조건으로 인해 음성 신호가 쉽게 왜곡되거나 손상될 수 있습니다. 이를 해결하기 위해 연구실은 DNN(Deep Neural Network) 기반의 음성 향상 및 분리 알고리즘을 개발하고, 다채널 오디오 신호를 활용한 고성능 음성 복원 기술을 연구하고 있습니다.
특히, 음성 신호에서 원하는 소리만을 추출하거나, 여러 화자의 음성을 분리하는 기술, 그리고 기계나 환경에서 발생하는 이상음을 조기에 탐지하는 기술에 중점을 두고 있습니다. 예를 들어, Transformer 기반의 모델을 활용하여 클래스 라벨이나 방향 정보를 단서로 삼아 목표 음원을 효과적으로 추출하는 연구, 그리고 정상 데이터만을 활용한 비지도 학습 기반의 이상음 탐지 모델 개발 등이 대표적입니다. 또한, 실제 산업 현장이나 가전제품, 드론 등 다양한 응용 분야에서 발생하는 복잡한 음향 데이터를 효과적으로 처리할 수 있는 실용적인 솔루션을 제시하고 있습니다.
이러한 연구는 음성 인식, 보안, 산업 자동화, 헬스케어 등 다양한 분야에서 활용될 수 있으며, 실제로 세탁기, 드론, 차량 등 다양한 시스템에서의 이상음 탐지 및 음성 품질 향상에 적용되고 있습니다. 앞으로도 연구실은 최신 신경망 구조와 음향 신호처리 기술을 결합하여, 더욱 정확하고 신뢰성 높은 음성 및 음향 신호 처리 기술을 개발해 나갈 예정입니다.
음향 기반 실내 공간 추정 및 디지털 트윈
본 연구실은 음향 신호를 활용한 실내 공간 추정 및 디지털 트윈 구축 분야에서도 독창적인 연구를 진행하고 있습니다. 전통적으로 실내 공간의 형상이나 구조를 파악하기 위해서는 비전 기반의 카메라 시스템이 주로 사용되어 왔으나, 시야가 제한되거나 가려진 영역이 존재할 경우 정확한 공간 추정이 어렵다는 한계가 있었습니다. 이를 극복하기 위해 연구실에서는 음향 에코(반향) 정보를 활용하여 실내 공간의 구조를 추정하는 기술을 개발하고 있습니다.
예를 들어, EchoScan과 같은 딥러닝 기반 모델을 통해 실내에서 측정된 음향 반사 신호(룸 임펄스 응답, RIR)로부터 방의 평면도와 높이 정보를 직접 추정할 수 있습니다. 이 과정에서 1차 반사뿐만 아니라 고차 반사까지도 활용하여, 곡선 벽 등 복잡한 구조를 가진 공간도 정확하게 모델링할 수 있습니다. 이러한 기술은 디지털 트윈, 실내 내비게이션, 가상현실, 건축 설계 등 다양한 분야에 적용될 수 있습니다.
또한, 음향 신호만으로도 카메라가 볼 수 없는 숨겨진 영역까지 추정할 수 있기 때문에, 보안이나 프라이버시가 중요한 환경에서도 효과적으로 활용될 수 있습니다. 앞으로 연구실은 음향 기반 공간 추정 기술의 정확도와 실시간성을 더욱 향상시키고, 다양한 센서 및 인공지능 기술과의 융합을 통해 차세대 디지털 트윈 솔루션을 개발하는 데 주력할 계획입니다.
1
DeFT-Mamba: Universal Multichannel Sound Separation and Polyphonic Audio Classification.
Lee, Dongheon, Jung-Woo Choi
IEEE, 1970
2
DeFTAN-AA: Array geometry agnostic multichannel speech enhancement
D. Lee, J-W. Choi
Proc. Interspeech, 2024.09
3
Noisy-ArcMix: Additive Noisy Angular Margin Loss Combined With Mixup Anomalous Sound Detection
S. Choi, J-W. Choi
IEEE, 1970
1
(통합EZ)IoT 센서정보기반의 새로운 도감청 공격탐색 및 방어기술개발(2024년도)
2
(통합EZ)공간음향의 통합적 분석 및 생성을 위한 범용인공지능 개발(2024년도)
3
인공지능 기반의 복수 개체 동특성 추정 모델 성능 검증 및 최적화