발화자 주변 자막 배치와 메타버스 접근성 멀티미디어 연구

Multimedia accessibility: subtitle placement near the speaker and metaverse usability

연구 내용

화면의 발화자 위치와 시선 정보를 이용해 자막을 화자 주변에 자동 배치하고, 보청장애 사용자를 위한 메타버스 공연 보조 기능의 유용성을 평가하는 연구

본 연구는 기존 고정 위치 자막 배치가 유발할 수 있는 시각적 피로와 주의 분산 문제를 완화하기 위해, 발화자 검출과 영상 분석을 기반으로 자막 위치를 동적으로 결정합니다. 얼굴 및 머리 영역을 정교화하고 시선에 따른 보정 알고리즘을 적용하여 자막 좌표와 최종 위치의 안정성을 개선하는 절차를 포함합니다. 또한 메타버스 공연에서 청각장애 사용자를 위해 모션 캡션과 햅틱 진동 등 2차 보조 기능을 설계하고, Likert 척도 평가 및 인터뷰로 유용성과 요구사항을 도출합니다.

관련 프로젝트

0건

연구 흐름

초기 연구에서는 음성 인식과 화자/얼굴 검출 기술을 결합해 발화자 주변에 자막을 배치하는 자동화 시스템을 구축하고, 장르별 적용 가능성을 검증했습니다. 이후 자막 배치의 정밀도를 높이기 위해 시선 정보를 반영한 보정 알고리즘을 설계하여 얼굴·머리 영역 추정을 개선했습니다. 최근에는 메타버스 공연을 대상으로 청각장애 사용자의 만족도와 유용성에 초점을 맞추어 모션 캡션과 햅틱 진동의 조합 효과를 평가하고 구체적 개선 요구를 정리하는 방향으로 확장했습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

발화자 기반 자동 자막 배치
시선 보정 자막 알고리즘
청각장애 사용자용 보조 기능
모션 캡션 설계 가이드
햅틱 진동 인터랙션 매핑
메타버스 공연 접근성 평가
영상 장르별 자막 품질 검증
시각 피로 저감 배치 전략
멀티미디어 사용자 테스트 방법
접근성 중심 문화콘텐츠 기획