증강현실(AR) 및 가상현실(VR) 기술의 빠른 성장은 은행, 교육 및 전문 분야를 포함한 수많은 영역에서 소비자에게 몰입형 디지털 경험을 제공하는 계기를 마련하였다. 이러한 환경에서 헤드마운트 디스플레이(HMD)는 사용자가 머리와 손 추적을 통해 가상 객체와 상호작용할 수 있게 한다. 특히, 가상 키보드는 주요 입력 방식으로 부상하고 있으며, 사용자가 손으로 직접 타이핑할 수 있어 추가 장치의 필요성을 없애고 휴대용 HMD 사용에 편의성을 더한다. 그러나 이러한 직접 손 기반 타이핑은 새로운 보안 우려를 야기하는데, 즉 직접 손 기반 타이핑 중에 발생하는 미묘한 머리 움직임이 의도치 않게 개인 정보를 드러낼 수 있다는 점이다. 본 논문에서는 사용자의 추가 동의 없이 접근 가능한 머리 움직임 데이터를 활용하여 가상 키보드에서 타이핑된 입력을 추정하는 새로운 부채널 공격인 SNOOPFINGER를 제안한다. 기존 방법과 달리, SNOOPFINGER는 독특하게 교차 양식(cross-modality) 접근을 사용하며, 컨트롤러의 사용 없이 오직 머리 움직임 데이터만을 기반으로 손 타이핑 입력을 추론한다. 또한, 본 접근은 피해자로부터 사전에 방대한 머리 움직임 데이터를 획득할 필요가 없고 다른 사용자로부터의 데이터도 필요로 하지 않으면서 피해자의 타이핑 입력을 식별하도록 설계되었다. 24명의 참여자를 대상으로 한 실험에서 SNOOPFING ER은 단어 추론에서 평균 Top-1 정확도 55.2%, 문장 재구성에서 68.8%의 높은 추론 정확도를 달성하였다. 마지막으로, 이러한 공격에 대응하기 위한 잠재적 완화 전략을 논의한다. 본 연구 결과는 AR/VR 환경에서 직접 손 기반 타이핑과 관련된 중대한 프라이버시 위험을 보여주며, 무권한 센서 데이터가 어떻게 개인 정보를 획득하는 데 악용될 수 있는지를 입증한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.