AI 기반 멀티모달 햅틱 저작 및 접근성 변환

AI-driven Multimodal Haptic Authoring and Accessibility Translation

연구 내용

대규모 언어 모델과 멀티모달 입력을 활용해 햅틱 렌더링 파라미터를 자동 추론하고, 시각 정보를 촉각·청각으로 변환하는 접근성 콘텐츠 제작 연구

멀티센서 햅틱 경험을 몰입형 미디어에 포함하기 위해 입력 데이터로부터 촉각 표현을 자동 생성하고 저작 부담을 낮추는 접근을 수행합니다. 멀티모달 입력과 의미 서술을 기반으로 햅틱 렌더링 파라미터와 물리 성질을 추론하고, 새로 고칠 수 있는 핀 어레이 등 표현 장치에 맞춘 촉각 아이콘을 생성합니다. 또한 비디오 및 그래픽의 맥락 정보를 컴퓨터 비전으로 추출해 텍스트 음성 변환 및 촉각화로 연결함으로써, 시각 중심 콘텐츠를 청각·촉각 중심으로 재구성하는 차별성을 보유합니다.

관련 프로젝트

4건

연구 흐름

초기에는 핀 어레이 기반 새로 고침형 디스플레이에서 그래픽과 영상의 맥락을 추출하고, 이를 청각 설명 및 촉각 장면으로 변환하는 파이프라인을 구축했습니다. 이후에는 몰입형 영상에서 멀티모달 4D 효과를 자동 생성하는 방식으로 확장하여, 공간화·인터랙션 요소를 함께 구성하는 방향으로 연구를 심화했습니다. 최근에는 저작자가 수동으로 지정하던 촉각 표현 파라미터를 줄이기 위해 LLM을 활용한 AI 보조 저작 도구를 도입하고, 사용자 평가를 통해 효율과 산출물 품질을 검증하는 흐름으로 진행되고 있습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

시각장애인용 멀티모달 교육 콘텐츠 변환
몰입형 영상의 자동 촉각 효과 생성
핀 어레이 기반 촉각 그래픽 번역 시스템
공연·전시용 햅틱 큐레이션 저작도구
접근성 중심 스포츠 하이라이트 요약
실감 미디어용 멀티센서 자막 생성
콘텐츠 제작 워크플로 자동화
원격 현존감 기반 감각 강화 인터페이스
장면 맥락 추출-촉각화 통합 파이프라인
개인화된 햅틱 파라미터 추정 모듈