본 과제는 사람의 움직임과 감정에 반응하는 실감 공간을 만들어 가상 콘텐츠를 더 실제처럼 체험할 수 있게 하는 서비스 개발임. 장갑형 VR 컨트롤러와 인공지능 기술을 결합하여 사용자가 콘텐츠 속에 직접 들어간 듯한 경험을 제공하는 이동형 실감 공간 서비스 구현을 지향함. 연구 목표는 Interactive Multisensory 기술을 기반으로 재난 대응, 스포츠 체험, 헬스케어, 지자체 홍보용 실감 콘텐츠를 개발하고, 자사 장갑형 VR 컨트롤러 Air Glove와 연동된 IMI 기반 실감 공간 서비스 구현임. 핵심 연구 내용은 Multi-view 이미지 기반 사용자 아바타 생성 및 Auto-rigging, 시계열 이미지 기반 Pose 및 Action 인식, LLM 기반 한국어 대화형 UI, 음성 기반 감정인식 모델 개발과 Core Interaction Pipeline 구축임. 또한 Air Glove 엔지니어링 샘플 제작 및 절대 위치 추정 연동을 통해 콘텐츠 반영을 고도화함. 기대 효과는 이동형 실감 콘텐츠 체험관이라는 새로운 산업 패러다임 제시, B2G·B2B 시장 확산, AI 기술 실적용을 통한 서비스 경쟁력 강화 및 사회적 참여 확대임.

(1) Interactive Multisensory 기술 개발(2) 재난 대응, 스포츠 체험, 헬스케어, 지자체 홍보 실감 콘텐츠 개발(3) 자사 개발 장갑형 VR 컨트롤러 : Air Glove와 실감 공간 서비스 연동 -> 자사가 제안하는 “IMI 기반의 실감 공간 서비스” (서비스명 : 멀티박스) 내에서 실감 콘텐츠를 체험할 수 있음. 체험자는 본인이 ...

(1) 1차년도 ▪ 연구 목표 : 자원이 제한된 이종 IoT에서 강인한 FDL/FRL을 위한 네트워크 자원 할당 기술 개발 ▪ 연구 내용 : - 산업용 디바이스들과 서버 간의 통신 패킷 손실이 존재하고, 디바이스들의 특징이 다른 이종의 IoT에서, 강인한 FDL/FRL을 구현하기 위하여 지연시간을 제한하는 FDL/FRL 프레임워크의 설계 및 개발 - non-IID 데이터가 있다고 가정하여 IoT 디바이스들의 자원들에 기반해서 클라이언트들의 우선순위를 결정하는 알고리즘, 즉, 통신지연시간 절감을 하기 위한 동적인 클라이언트 선택 기술 개발 - Robust FDL/FRL을 위하여 데이터 중요도/우선순위와 함께, 학습 정확도, 디바이스들 간의 공정성, 수렴시간 등을 모두 고려하여 네트워크 자원을 할당하는 알고리즘 개발 - 통신량, 계산량, 이종 디바이스들의 특징을 고려하여 각 라운드에서 IoT 디바이스들로부터 데이터를 샘플링하는 자원 할당 문제에 대한 연구를 수행하고 시뮬레이터를 통해서 성능 분석 및 평가 (2) 2차년도 ▪ 연구 목표 : IoT의 이종 디바이스/데이터 특성을 고려한 FDL/FRL의 수렴 속도 향상 기술 개발 ▪ 연구 내용 : - 서버는 글로벌 FDL/FRL 모델을 생성하기 위해 모든 사용자의 로컬 FDL/FRL 모델을 수신할 때까지 기다려야 하므로 FDL/FRL 성능과 수렴 시간은 사용자 선택 방식에 의해 크게 영향을 받음 - 로컬 FDL/FRL 모델이 글로벌 FDL/FRL 모델에 큰 영향을 미치는 사용자를 기지국이 높은 확률로 연결하는 확률론적 사용자 선택 방식과 업링크 통신용량을 고려한 사용자 선택 방식을 제안하는 방법을 개발 - 디바이스 연결 불안정과 배터리 방전 등을 고려하는 FDL/FRL 알고리즘의 수렴 속도 향상을 위한 기술을 개발하며, 수렴까지의 라운드 수 및 라운드당 업로드된 총 데이터량을 절감하는 기술을 개발 - 공동 학습, 무선 자원 할당 및 사용자 선택 문제는 FDL/FRL 성능을 최적화하면서 FDL/FRL 수렴 시간을 최소화하는 것을 목표로 하는 최적화 문제로, 수렴 속도 향상을 위한 학습 파라미터 최적화에 의한 손실 함수 최소화 기술 개발 - 빠른 수렴은 정확성을 희생시키기 때문에 정확도와 선형 수렴 속도에 대한 관계성을 FDL/FRL 기반 IoT 관점에서 성능 분석을 수행 (3) 3차년도 ▪ 연구 목표 : FDL/FRL 기반 IoT 시스템에서 로컬 계산과 무선통신에 의한 전력 소비를 절감하는 기술 개발 ▪ 연구 내용 : - 배터리로 동작하는 IoT 디바이스를 가정하여, 배터리로 동작하는 IoT 디바이스의 통신 지연 시간과 에너지 소비의 관계를 분석하고, 작동 CPU 주파수를 조정하여 배터리 수명을 연장하는 기술 개발 - FDL/FRL 기반 IoT 시스템에서 계산 리소스의 조절과 무선 대역폭에 대한 IoT 디바이스의 조절에 의해서 에너지 소모량을 최적화하는 기술 개발 - 시간 할당, 대역폭 할당, 전력 제어, 계산 주기, 학습 정확도 등의 최적화 문제 설계 : FDL/FRL 과정에서 학습 정확도 수준을 고려하면서 전송 에너지를 최소화하기 위해서 대기 시간 할당, 대역폭 할당, CPU전력 제어, 계산 주기, 학습 정확도 등을 고려한 알고리즘 연구

자원이 제한된(resource-constrained) 이종의(heterogeneous) 대규모(massive) IoT의 지능화를 위하여 효율적인 연합심층학습/연합강화학습을 하기 위한 자원 관리 및 수렴 속도 향상 기술 개발