최종목표: 음성 AI 에이전트가 자율주행 제어가 되지 않은 돌발상황에서 안전한 운전제어권 전환을 보장하도록 운전자의 상태 정보(HR, GSR, 동공크기, 시선 등)를 기반으로 자율주행 중 대화형 서비스 제공의 적절성을 자동 판단하는 자율주행 차량용 음성비서 기반 원천기술 개발 상세 연구 내용(3년과제) 〇 1차년도: 제어권 전환 시뮬레이션 테스트 환경 개발 ▶ 차량용 대화형 서비스 대표 시나리오 개발 및 검증(n=30) - 운전자 주의분산 연구를 위하여 일반적으로 표준화된 인지과업(n-back task 등)이 주로 사용되고 있으나 현실적인 음성 과업과는 차이가 멀어 기존 결과 활용에 제한이 있음 - 반 구조화(semi-structured) 인터뷰 방식으로 대화 난이도 조절이 쉬운 모의 대화형 서비스 시나리오를 개발하고 검증함 ▶ 제어권 전환 대표 시나리오 및 시뮬레이션 SW 개발: - 미국 NHTSA에서 제공하는 자율주행 테스트 차량(구글 Waymo, 테슬라 오토파일럿 등) 사고 데이터셋을 분석하여 자율주행 시스템이 제어할 수 없는 돌발상황 대표 시나리오 개발 - CARLA 오픈소스 플랫폼을 활용하여 대표 시나리오에서 제어권 전환 시뮬레이션 SW 개발함. 또한 시뮬레이터와 연결하여 제어권 전환 시 실험 참가자가 수동 운전 가능하도록 함 〇 2차년도: 운전자 제어권 전환 데이터 수집 및 분석 ▶ 대화형 서비스 사용 중 운전자의 제어권 전환 데이터 수집(n= 50) - 1차년도에 개발된 대화형 서비스 사용 중 제어권 전환을 하는 시뮬레이션 실험을 통하여 다음과 같은 데이터를 수집함: 운전자 상태 정보(HR, GSR, 동공 크기 등의 바이오센서 데이터; 시선, 머리 방향, 팔 위치 등의 이미지센서 데이터), 차량 주행 정보, 운전자 반응 데이터(제어권 전환 속도, 제어권 전환 후 수동 운전 데이터 및 돌발상황 대처 성공 유무 등) ▶ 대화형 서비스가 제어권 전환에 미치는 영향 분석 - 수집된 데이터를 분석하여 대화형 서비스 난이도가 운전자 반응 속도 및 제어권 전환 성공에 미치는 영향을 정량적으로 모델화함 - 제어권 전환 전 운전자 생체 정보 및 상태 정보를 분석하여 운전자 반응 속도 및 제어권 전환 성공과 상관관계가 높은 정량적 요소를 분석함 〇 3차년도: 대화형 서비스 제공 적절성 판단 모델 개발 ▶ 기계학습 기반 대화형 인터렉션 적절성 판단 모델 개발 및 검증 - 제어권 전환 전 운전자의 상태 정보를 바탕으로 제어권 전환 시 운전자의 제어권 전환 성공을 예측하는 기계학습 기반 판단 모델을 개발함 - 시퀀스 학습을 위해 순환신경망(CRNN: Convolutional Recurrent Neural Network) 구조와 GRU 셀 유닛(Cho et al., 2014)을 사용할 예정임. GRU(Gated Recurrent Unit)의 경우 기존 LSTM의 장점을 유지하면서 학습 속도 또한 빠른 것으로 알려져 있음 - 데이터 소스 간에 상호 인터랙션(interaction)을 체계적으로 고려하는 late fusion 아키텍쳐를 고려. 센서 데이터의 경우 GRU 입력전에 정규화(채널 기반 z 정규화, 배치 정규화 등) 및 윈도우 기반 전처리를 통하여 채널별/센서별 변이를 최소화(Munzner et al., 2017)