NPU 기반 온디바이스 멀티모달 감정 인식과 실감 공간 인터랙션 연구

On-device Multimodal Emotion Recognition on NPU and Its Use in Interactive Immersive Spaces

연구 내용

NPU에서 저지연·저전력으로 멀티모달 감정 인식을 수행하고 이를 실감 공간의 실시간 상호작용에 연결하는 연구

본 연구는 멀티모달 입력을 기반으로 온디바이스에서 감정을 인식하되, 지연과 전력 소모를 동시에 낮추는 데 초점을 둡니다. Neural Processing Unit(NPU)에서 추론을 수행하기 위해 모델 구조와 실행 경로를 고려한 온디바이스 감정 인식 파이프라인을 구성합니다. 또한 Interactive Multisensory Interface 기반 실감 공간 서비스 개발 과제의 다중 감각·감정 분석 요구를 반영하여, 실시간 사용자 상태 추정이 가능한 형태로 적용 방향을 정리합니다.

관련 프로젝트

2건

연구 흐름

먼저 2023~2024년 실감 공간 서비스 개발 과제를 통해 다중 감각 입력과 감정 분석을 포함하는 인터랙션 요구를 정의했습니다. 이후 2025년에는 NPU에서 저지연·저전력으로 동작하는 온디바이스 멀티모달 감정 인식(O M E R - N P U)을 연구에서 제시했습니다. 연구 흐름은 온디바이스 추론 환경에서 감정 인식 성능을 확보하는 구성으로 출발하고, 네트워크 지연과 전력 제약을 고려한 실행 관점으로 확장되었습니다. 최종적으로 실감 공간 인터랙션에서 감정 기반 반응을 구현할 수 있는 적용 시나리오를 정리했습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

온디바이스 감정 인식(멀티모달)
실시간 인터랙티브 실감 공간 서비스
웨어러블 HMI 사용자 상태 추정
NPU 가속 기반 추론 최적화
저전력 엣지 컴퓨팅 감정 분석
저지연 음성·다중 입력 반응 제어
대화형 콘텐츠 개인화
감정 기반 접근성 인터페이스
다중 감각 상호작용 데이터 수집·처리
이동형 기기에서의 감정 추론 지속성