청각장애인 접근성을 위한 멀티모달 캡션·햅틱 상호작용 연구

Multimodal captioning and haptic interaction for accessibility of deaf and hard-of-hearing users

연구 내용

청각장애인을 위해 소리·감정 정보를 시각적 캡션과 촉각 패턴으로 변환해 전달 품질을 개선하는 접근성 멀티모달 상호작용 연구

청각장애인과 난청 사용자의 영상·전시 환경에서 비음성 정보를 충분히 전달하기 위해 멀티모달 캡션과 햅틱 기반 표현을 결합하는 연구를 수행합니다. 텍스트 중심 자막의 한계를 보완하기 위해 Motion caption과 spatiotemporal vibration 패턴을 설계하고, 사용자 설문과 실사용 평가를 통해 전달 적합성과 몰입 관련 요소를 검증합니다. 또한 수어·협업 경험과 같은 커뮤니케이션 맥락을 고려해 상호작용 시나리오를 구성하며, LLM 기반 비음성 소리 시각화로 확장 가능한 파이프라인을 도출합니다.

관련 프로젝트

2건

연구 흐름

초기에는 전시 환경에서 DHH 사용자의 접근성 향상을 위해 캡션·설명 인터랙션의 설계 원리를 정리하고, 실제 관람 경험을 기반으로 개선 방향을 도출했습니다. 이후에는 수어 기반 협업 및 노래 만들기 경험을 분석하여 커뮤니케이션 맥락에서 필요한 피드백 형태를 구체화했습니다. 최근에는 영상의 배경음·음향 효과 등 비언어 소리를 전달하기 위해 Motion caption과 촉각 패턴을 결합한 시스템으로 확장하고, 햅틱 설계 변수와 사용자 평가 프로토콜을 정립하는 흐름을 보입니다. 현재는 LLM 기반 비음성-시각화로 문맥적 정확도를 높이는 방향을 병행합니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

접근성 중심 자동 캡션 생성
청각 대체 촉각 인터페이스
수어 기반 협업 도구
비음성 소리-시각화 파이프라인
음악 시각화 교육 콘텐츠
박물관 전시 상호작용 설계
사용자 적합도 기반 캡션 조절
오디오-비주얼 변환 평가 체계
영상 음향 효과 전달 모듈
DHH용 멀티모달 UX 진단 도구