다감각 촉각 경험은 몰입형 미디어(IM)의 핵심 구성요소이지만, 이러한 감각 자극을 제작하기 위한 효과적인 방법은 충분히 연구되지 않은 상태이다. 본 논문에서는 사용자가 다감각 촉각 피드백을 쉽게 설계할 수 있도록 하는 AI 보조 공동창작 제작 시스템 HAPhy를 제안한다. HAPhy는 대규모 언어 모델(LLM)을 활용하여 먼저 가상 객체에 대한 의미론적 설명을 생성하고, 이후 해당 설명과 다중 시점 이미지들을 이용해 적절한 촉각 렌더링 파라미터와 물리적 특성을 추론한다. 우리는 HAPhy의 사용성 및 생성된 자극의 품질을 평가하기 위해 두 차례의 사용자 연구를 수행했으며(N = 20 및 N = 16), 그 결과 HAPhy는 전통적인 수작업 제작 방법에 비해 사용성, 효과성, 시간 효율성에서 더 우수한 것으로 나타났다. 또한 눈가림 비교에서는 HAPhy로 제작된 자극이 수작업으로 제작된 자극과 유사하게 평가되었고, AI 단독 출력에 비해 유의미하게 더 높은 평가를 받았다. 이러한 결과는 풍부하고 다양한 촉각 피드백을 포함하는 고품질 몰입형 미디어를 생성하는 데 필요한 진입 장벽을 HAPhy가 크게 낮출 수 있음을 보여주며, 고도화된 몰입형 미디어 경험을 위한 유망한 접근법임을 시사한다.

사이버멀미(cybersickness)는 몰입형 VR 경험을 구현하는 데 있어 주요 장애물이며, 이를 극복하기 위한 다양한 전략이 제안되어 왔다. 특히 인공 감각 자극을 제공하는 접근은 현존감(presence)과 현실-가상의 일치(real-virtual congruence)를 향상시켜 상황 개선에 도움이 되는 대표적 방법으로 간주된다. 본 연구에서는 사이버멀미를 완화하기 위해 가상 보행 감각을 유발하는 데 있어 인공 감각 자극의 효과를 평가하였다. 총 80명의 참가자를 대상으로 두 가지 실험을 수행하였다: (1) 정적 사용자 실험($\mathrm{N}=40$)으로, 참가자들은 신체적 이동 없이 컨트롤러 기반 조종을 사용하였으며, (2) 동적 사용자 실험($\mathrm{N}=40$)으로, 참가자들은 옴니방향 트레드밀에서 보행하여 실제 보행과 유사한 가상 이동이 가능하도록 하였다. 두 실험 모두에서 참가자들은 진동촉각(vibrotactile) 피드백의 유무에 따라 두 집단으로 나누었다. VR 환경에 노출되는 동안 심박수와 주관적 불편감 데이터를 수집한 뒤, 사이버멀미와 현존감을 평가하였다. 두 실험 전반에 걸친 결과는 진동촉각 피드백을 통해 유발된 가상 보행 감각이 인지된 과제 부담이나 현존감에는 부정적 영향을 주지 않으면서도 사이버멀미를 유의미하게 감소시켰음을 보여주었다. 또한 동적 사용자 보행(locomotion) 실험에서는 진동촉각 피드백이 존재할 때 사이버멀미의 감소가 더 크게 관찰되었다. 이러한 결과는 실제-가상 감각이 동기화되어 있더라도, 진동촉각 피드백이 인지적 주의를 분산시켜 사이버멀미를 추가로 완화할 수 있음을 시사한다.

다감각 촉각 경험은 몰입형 미디어(IM)의 핵심 구성요소이지만, 이러한 감각 자극을 제작하기 위한 효과적인 방법은 충분히 연구되지 않은 상태이다. 본 논문에서는 사용자가 다감각 촉각 피드백을 쉽게 설계할 수 있도록 하는 AI 보조 공동창작 제작 시스템 HAPhy를 제안한다. HAPhy는 대규모 언어 모델(LLM)을 활용하여 먼저 가상 객체에 대한 의미론적 설명을 생성하고, 이후 해당 설명과 다중 시점 이미지들을 이용해 적절한 촉각 렌더링 파라미터와 물리적 특성을 추론한다. 우리는 HAPhy의 사용성 및 생성된 자극의 품질을 평가하기 위해 두 차례의 사용자 연구를 수행했으며(N = 20 및 N = 16), 그 결과 HAPhy는 전통적인 수작업 제작 방법에 비해 사용성, 효과성, 시간 효율성에서 더 우수한 것으로 나타났다. 또한 눈가림 비교에서는 HAPhy로 제작된 자극이 수작업으로 제작된 자극과 유사하게 평가되었고, AI 단독 출력에 비해 유의미하게 더 높은 평가를 받았다. 이러한 결과는 풍부하고 다양한 촉각 피드백을 포함하는 고품질 몰입형 미디어를 생성하는 데 필요한 진입 장벽을 HAPhy가 크게 낮출 수 있음을 보여주며, 고도화된 몰입형 미디어 경험을 위한 유망한 접근법임을 시사한다.

사이버멀미(cybersickness)는 몰입형 VR 경험을 구현하는 데 있어 주요 장애물이며, 이를 극복하기 위한 다양한 전략이 제안되어 왔다. 특히 인공 감각 자극을 제공하는 접근은 현존감(presence)과 현실-가상의 일치(real-virtual congruence)를 향상시켜 상황 개선에 도움이 되는 대표적 방법으로 간주된다. 본 연구에서는 사이버멀미를 완화하기 위해 가상 보행 감각을 유발하는 데 있어 인공 감각 자극의 효과를 평가하였다. 총 80명의 참가자를 대상으로 두 가지 실험을 수행하였다: (1) 정적 사용자 실험($\mathrm{N}=40$)으로, 참가자들은 신체적 이동 없이 컨트롤러 기반 조종을 사용하였으며, (2) 동적 사용자 실험($\mathrm{N}=40$)으로, 참가자들은 옴니방향 트레드밀에서 보행하여 실제 보행과 유사한 가상 이동이 가능하도록 하였다. 두 실험 모두에서 참가자들은 진동촉각(vibrotactile) 피드백의 유무에 따라 두 집단으로 나누었다. VR 환경에 노출되는 동안 심박수와 주관적 불편감 데이터를 수집한 뒤, 사이버멀미와 현존감을 평가하였다. 두 실험 전반에 걸친 결과는 진동촉각 피드백을 통해 유발된 가상 보행 감각이 인지된 과제 부담이나 현존감에는 부정적 영향을 주지 않으면서도 사이버멀미를 유의미하게 감소시켰음을 보여주었다. 또한 동적 사용자 보행(locomotion) 실험에서는 진동촉각 피드백이 존재할 때 사이버멀미의 감소가 더 크게 관찰되었다. 이러한 결과는 실제-가상 감각이 동기화되어 있더라도, 진동촉각 피드백이 인지적 주의를 분산시켜 사이버멀미를 추가로 완화할 수 있음을 시사한다.

이 연구는 가상현실(VR)에서 균형 과제에 대한 진동촉각 자극 위치의 영향을 조사하였다. 착용형 햅틱 장치를 사용하는 가상 스노보딩 시스템을 활용하여, 두 가지 서로 다른 신체 위치(상체; UB; 몸통 진동과 하체; LB; 발목 진동)의 효과를 비교하는 피험자 간(between-subject) 사용자 연구를 수행하였다. 실시간 진동촉각 균형 보정 피드백은 깔창의 센서 어레이로부터 계산된 압력중심(Center of Pressure, CoP)으로 생성하였다. 초기 결과는 사용자들의 균형 능력을 향상시키는 데 UB 피드백이 LB보다 더 효과적임을 보여주었다.

비디오 접근성은 중요하지만 도전적인 연구 주제이다. 본 연구에서는 새로 고침 가능한 핀 배열 표시장치를 활용하여 비디오 콘텐츠를 문맥을 잃지 않으면서 오디오 클립과 촉각 아이콘으로 변환하는 시스템을 구현하고 평가하였다. 제안된 시스템은 비디오의 문맥 정보를 오디오 설명과 촉각 장면으로 변환함으로써 사용자가 듣고 만질 수 있도록 한다. 초기 대상은 BLVI 커뮤니티에서 인기 있는 스포츠인 골프 중계를 선택하였는데, 이는 명확한 문맥을 가지는 반면 시각적 특징에 크게 의존하며 오디오를 통해 제공되는 정보는 제한적이다. 우리는 컴퓨터 비전을 통해 점수, 샷의 궤적 및 결과와 같은 문맥 정보를 추출하였다. 이후 이를 Text-to-Speech로 오디오로 변환하고 핀 배열에 촉각 아이콘으로 표시하였다. 시스템 평가는 지각 실험과 사용성 설문을 수행하여 진행하였으며, 그 결과 시스템이 정보를 효과적으로 변환하는 것으로 나타났다.

이 논문은 VR 조각(engraving) 예술 과제에서 센서모터 기술 전이를 위한 힘 피드백 방법들을 비교한다. 우리는 3자유도(3-DoF) 힘 피드백 장치를 사용하여 두 가지 서로 다른 햅틱 피드백 방법인 햅틱 가이던스와 교란을 제공하는 VR 조각 예술 시스템을 구현하였다. 햅틱 가이던스로는 예술 전문가로부터 수집한 힘과 프로파일을 그대로 제시하였고, 프로파일의 역방향은 햅틱 교란으로 제공하였다. 햅틱 피드백이 없는 기준선(no haptic feedback)을 두고 두 방법에 대해 사용자의 과제 수행을 평가한 결과, 햅틱 교란이 가이던스보다 약간 더 나은 수행을 유도하는 것으로 나타났다.