Multimodal processing for art engineering and fusion content
연구 내용
미디어아트 제작을 위한 멀티모달 신호처리와 시스템 설계를 수행하는 예술공학 연구
예술공학의 관점에서 융합콘텐츠를 제작하기 위한 기술 구성을 연구합니다. 음성신호처리 및 영상 기반 단서를 포함한 멀티모달 입력을 분석해 콘텐츠 반응의 규칙과 표현 방식을 설계합니다. 또한 응용 소프트웨어 기술을 활용하여 인식 결과를 실시간 렌더링과 이벤트 처리에 연결하고, 가상현실 콘텐츠에서 사용자 참여 흐름이 자연스럽게 이어지도록 시스템을 구성합니다. 이 과정에서 데이터 수집-처리-출력의 경량화를 고려하여 창작 제작 워크플로우에 적용 가능한 처리 파이프라인을 확보합니다.
관련 연구 성과
관련 논문
0편
관련 특허
0건
관련 프로젝트
0건
연구 흐름
초기에는 미디어아트 제작에 필요한 입력 소스(음성 및 시각 단서)를 정의하고, 각 입력을 동일한 이벤트 모델로 변환하는 절차를 구축했습니다. 이후 신호처리 단계에서 안정적인 특징 표현을 만들고, 콘텐츠 반응을 결정하는 규칙을 실시간 제약 안에서 구현하는 방식으로 발전시켰습니다. 이후 생체인식 요소를 결합하여 인증 및 참여의 의미를 동시에 부여하는 방향으로 실험 설계를 확장했습니다. 최근에는 가상현실콘텐츠 및 융합콘텐츠 제작 관점에서 처리 흐름의 통합과 운영 편의성을 강화하는 연구를 수행합니다.
활용 가능성
활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.