프로젝트 소개
본 과제는 메타버스 공연과 전시에서 관람자의 표정, 목소리, 행동, 몰입도 같은 반응을 실시간으로 파악하고, 그 결과에 맞춰 공연과 전시 내용이 달라지는 기술을 개발하는 연구임. 관람자마다 다른 경험을 제공하는 적응형 문화예술과 이를 구현할 전문인력 양성을 함께 추진하는 프로젝트임.
연구 목표는 사용자 경험을 실시간으로 검출·기록하는 시스템과 적응형 메타버스 공연·전시 모듈을 개발하고, 실제 메타버스 공간에서 실증하는 데 있음. 핵심 연구 내용은 컴퓨터 비전과 딥러닝 기반 관객 표정 분석, 몰입도·집중도 정량화, 관객 음성반응과 공연음향의 시각 연동, 디지털 트윈 기반 온·오프라인 관객 싱크, 개인 적응형 공연 및 디지털 액터 개발임. 또한 인간공학 기반 평가 지표와 IC-PBL 다학제 교육과정을 운영하여 전문연구인력 30명 이상을 양성함. 기대 효과는 1인 맞춤형 실감형 문화콘텐츠와 새로운 비즈니스 모델 창출, 융복합예술의 세계 시장 진출, 현장형 문화기술 전문인력 및 후속 협력 연구 기반 강화임.