본 연구진은 이미 별도의 추가 기기 없이 스마트 스피커의 스피커와 마이크 array를 이용하여 Sonar 기반 Liveness Test 기법을 개발하여 스마트 스피커의 음성 인터페이스 방어 기법을 연구데 성공하였고, 우수국제학술대회인 Ubicomp 2020에서 발표하였다. 해당 연구의 방어기법인 SPEAKER SONAR는 스마트 스피커의 스피커로 비가청주파수를 재생하여 반사되는 신호를 분석하여 사용자의 방향을 탐지하였고, 사용자의 방향과 음성명령어의 물리적인 방향이 일치하는지 확인하는 Consistency check를 통해서 Liveness Test를 수행하였다. 해당 방법은 효과적으로 원격공격자로부터 스마트 스피커의 인터페이스를 보호할 수 있었다. 본 연구의 1차년도에는 선행연구에서 개발한 Sonar 기반 Liveness Test 기법을 고도화하여 사용자 인증 기법을 연구하는 것을 목표로 한다. 핵심 아이디어는 Sonar를 이용하여 스마트폰의 패턴 잠금기능을 개발하는 것이다. 구체적으로 사용자가 스피커로부터 1미터 안의 허공에서 손 패턴을 그리면, 스마트 스피커는 Sonar를 손 패턴을 인식하여 인증을 하는 것이다. 이를 위해서, Sonar의 정밀도가 향상되어야 한다. 본 연구진은 이미 재생하는 신호(transmission signal)를 다시 디자인하였고, 1차년도에 particle filter와 beamforming 등의 기술을 적용하여 주변 노이즈를 제거할 계획이다. 이후 정확도가 향상된 기법을 사용하여 탐지된 손 모션 데이터를 바탕으로 RNN 기반 모델을 만들어 패턴 잠금기능을 구현할 계획이다. 헤드셋의 음성 인터페이스를 위한 사용자 인증기법 개발을 위한 핵심 아이디어는 헤드셋의 스피커를 통해서 재생되는 신호와 내부 마이크를 이용한 외이도 고유특성 인식하는 기법을 개발하는 것이다. 사람의 외이도는 사람의 지문과 같이 각기 다른 고유모양을 가지고 있다. 더불어 외이도는 사용자의 구강과 연결되어있어 사용자의 표정 또는 자세에 따라서 고유정보가 변할 수 있고, 이를 이용하여 보안성을 향상할 수 있다. 구체적으로는 헤드셋의 스피커를 통해서 소리를 재생하고 반사되는 신호를 분석하여 외이도의 고유성을 식별하여 인증에 사용하는 것이다. 먼저, 재생 신호(transmission signal)와 인증자세를 연구하고, 이후 다양한 신호처리기법(MFCC, FRC, Spectogram 등)을 통해 반사되는 신호 분석 연구할 계획이다. 현재 음성 앱스토어의 어플리케이션 검증과정은 blackbox로 방법이 공개되어 있지 않다. 음성 앱스 토어의 음성 어플리케이션 검증 방법 이해 및 취약점 분석 연구를 위한 핵심 아이디어는 테스트 음성 어플리케이션을 개발하여 앱스토어에 제출하고 해당 앱이 검증과정을 통과하는 동안 다양한 test case를 통해 검증시스템을 실험하는 것이다. 해당 test case 기반 연구 방법을 사용하는 이유는 다음 과 같다. 음성 어플리케이션이 대화형식으로 작동한다. 기본적으로 프론트엔드와 백엔드로 구성되 며, 프론트엔드는 앱스토어에 제출되고 백엔드는 개발자의 서버에 있다. 이 때문에 앱스토어의 검증 과정은 백엔드에 해당하는 코드를 직접 분석할 수 없고, 음성 명령어 request를 보내고 response를 기다리는 형태로 검증을 수행하게 된다. 본 연구진은 response로 검증 시스템에 보낼 다양한 Test case를 음성 앱스토어의 가이드라인을 고려하여 일반적인 음성명령어, 악성 음성 어플리케이션에서 수집된 음성 명령어, 그리고 NLP기법이 처리하기 어려운 불완전한 음성명령어 등으로 구성할 계획임