본 연구는 실시간 환경 및 인구 통계 데이터를 시각화하고, AI 기반 얼굴 생성을 통합하여 역동적이고 몰입감 있는 사용자 경험을 제공하는 데이터 중심의 대화형 멀티미디어 플랫폼을 제안한다. 본 시스템은 이미지 생성 AI와 데이터 시각화를 하나의 통합된 프레임워크로 결합하여 실시간 개인화 상호작용을 가능하게 한다. 실시간 날씨 및 인구 데이터는 서울특별시에서 제공하는 공개 API를 통해 수집·처리되며, 이러한 데이터 스트림은 하늘 색, 구름 밀도, 배경 환경과 같은 시각적 파라미터에 매핑되어 지역의 상황을 동적으로 반영한다. 얼굴 생성은 연령과 성별로 범주화된 한국인 얼굴 데이터셋을 기반으로 학습된 미세조정된 stable diffusion 모델을 사용하여 수행한다. 생성된 페이스 메시(face mesh)는 상세 표정 포착 및 애니메이션(DECA)으로 정교화하고, Unreal Engine 내에서 MetaHuman 캐릭터로 구현하여 표현력 있는 실시간 아바타를 생성한다. 플랫폼은 클라이언트–서버 아키텍처를 채택하며, 클라우드 기반 자산 관리(cloud-based asset management)를 활용하여 실시간 데이터 및 3D 자원을 효율적으로 처리한다. 이러한 접근은 실시간 공공 데이터를 AI 기반 개인화와 결합한 새로운 형태의 대화형 미디어 경험을 보여주며, 예술, 디자인, 도시 데이터, 인공지능을 연결하는 학제 간 HCI 연구를 위한 새로운 기회를 제시한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.