LLM 기반 음성 대화 에이전트(VCAs)는 사회적 상호작용 파트너로 부상하고 있으나, 실시간 즉시성은 의사소통 불안(Communication Apprehension, CA)을 지닌 사용자에게 심리적 부담을 증가시킬 수 있다. 본 연구는 LLM 기반 VCA 상호작용 중 사용자가 느끼는 불편함에 근거하여, CA 사용자의 불안을 완화하기 위한 상호작용 설계 단서를 탐구한다. 우리는 설문 스크리닝을 통해 CA를 지닌 10명의 사용자를 모집하고, 짧은 사전 인터뷰를 통해 일상적인 붕괴(부조화) 에피소드를 수집하여 이를 지원 카드(support-card) 스캐폴드로 번역하였다. 카드 기반 공동 설계 워크숍에서 참여자들은 LLM 기반 VCA와 실시간 음성 대화를 수행하고, 카드를 이용해 녹음된 순간들을 재구성함으로써 불안 유발 요인과 완화 전략을 식별하였다. 연구 결과, 발화 연속성이 단절되거나 턴 전환(turn transitions)이 예측 불가능해질 때 부담과 발화 억제가 더욱 높아지는 것으로 나타났다. 우리는 CA 사용자를 위한 안전한 음성 상호작용을 지원하기 위해 맥락에 기반한 턴테이킹, 능동적 경청(active listening) 단서, 그리고 명시적인 사용자 제어를 강조하는 설계 시사점을 제안한다.