본 논문에서는 지능형 로봇 환경에서 인간-로봇 상호작용(HRI)을 위한 심층 학습 기반 음원 위치 추정(Sound Source Localization, SSL)을 제안한다. 제안하는 SSL 방법은 세 단계로 구성된다. 첫 번째 단계에서는 로봇 환경에서 잡음과 잔향을 최소화하기 위해 음원을 전처리한다. 로봇에 장착된 마이크 어레이의 음원으로부터 배경의 영향을 최소화하는 데 필요한 음원의 원래 성분만을 포함하는 여기원 정보(Excitation source information, ESI)를 추출한다. 여기서 선형 예측 잔차(linear prediction residual)를 ESI로 사용한다. 이어서 각 음원의 ESI 신호를 이용하여 인접한 마이크 쌍 각각 사이의 교차상관 신호(cross-correlation signal)를 계산한다. 잡음의 영향을 최소화하기 위해 위상 변환을 포함한 일반화 교차상관(Generalized Cross-Correlation with the phase transform, GCC-PHAT) 알고리즘을 사용한다. 두 번째 단계에서는 도달시간(time difference of arrival, TDOA)을 이용하여 각 인접 마이크 쌍 사이에서 계산된 교차상관 신호와 음원 위치를 독립적으로 학습할 수 있는 단일 채널, 다중 입력(convolutional neural network) 합성곱 신경망을 설계한다. 세 번째 단계에서는 제안된 네트워크로 학습한 후 음원 위치를 분류한다. 기존 연구들은 주로 다양한 특징을 입력으로 사용하고 이를 다중 채널에 적층하여 알고리즘을 복잡하게 만들었으며, 또한 다중 채널 입력만으로는 각 음원 간의 상호 관련성을 명확히 학습하기에 충분하지 않을 수 있다. 이러한 문제를 해결하기 위해 각 음원 간의 교차상관 신호(cross-correlation signal)만을 네트워크 입력으로 사용한다. 제안 방법은 로봇 환경에서 획득한 한국전자통신연구원-음원 위치 추정(Electronics and Telecommunications Research Institute-Sound Source Localization, ETRI-SSL) 데이터베이스에서 검증되었다. 실험 결과, 제안된 방법은 기존 연구에 비해 8.75% 더 높은 성능을 보였다.

최근 딥러닝 기술의 발전에 따라, 많은 상용 비디오 감시 시스템이 우리의 삶을 더 똑똑하고 안전하게 만들기 위한 방법으로 인공지능(AI) 기반 비디오 분석 기술을 도입하고 있다. 그럼에도 불구하고, 높은 정확도와 낮은 계산 비용을 모두 고려하는 상용 서비스용 적절한 네트워크 모델을 갖춘 견고한 아키텍처는 아직 없다. 기존의 딥러닝 기술만으로는 현실 세계 장면의 역학을 모델링하고 표현하기에 충분하지 않아, 일반적인 모델을 사용하여 모든 환경을 만족시키기 어렵다. 다만, 오경보 및/또는 미탐 사례로부터의 적절한 학습 데이터는 이러한 한계를 해소할 수 있지만, 개인 데이터의 프라이버시와 관련된 법적 이슈 및 새로 유입되는 데이터의 예측 불가능성 때문에 해당 데이터가 거의 제공되지 않는다. 본 논문에서는 신뢰성 있는 객체 검출을 위한 새로운 종단 간(end-to-end) 하이브리드 비디오 감시 아키텍처를 제안하며, 이는 프론트엔드와 백엔드 지능으로 구성된다. 지능형 프론트엔드의 경우, 시스템의 확장성과 유연성을 고려하기 위해 Multi-scale ResBlock 방식을 적용한 새로운 객체 검출기를 제안한다. 또한 지능형 백엔드 아키텍처를 위해, 실시간 공간 및 맥락 정보를 이해함으로써 범용 모델을 각 카메라의 개별 개인 모델로 대체하기 위한 새로운 도메인 적응 방법도 개발 중이다. 이 과정은 새로운 유입 데이터와 기존 모델이 지속적으로 결합되어 반복적이고 연속적인 개선이 이루어지는 형태이다. 우리는 Chameleon 프로젝트라고 불리는 흥미로운 개념 증명(proof-of-concept) 시험을 포함하여 일련의 실험을 수행하였으며, 그 결과 새로운 아키텍처의 높은 정확도와 범용성을 입증함과 동시에 실제 구현에 적용 가능한 견고한 결과를 산출하였다.