유영재 연구실은 시각정보처리와 멀티모달 인공지능 분야에서 선도적인 연구를 수행하고 있습니다. 본 연구실은 이미지, 비디오, 텍스트 등 다양한 형태의 데이터를 통합적으로 이해하고 처리하는 기술 개발에 중점을 두고 있습니다. 특히, 비디오와 자연어의 상호작용, 멀티모달 질의응답, 비디오 캡셔닝, 비디오 기반 질문응답 등 복합적인 데이터 간의 의미적 연결고리를 찾는 연구를 활발히 진행하고 있습니다. 이러한 연구를 위해 연구실에서는 대규모 데이터셋 구축, 딥러닝 기반의 표현 학습, 그리고 인간의 주의집중(어텐션) 메커니즘을 모방한 신경망 모델 개발에 집중하고 있습니다. 예를 들어, 인간의 시선 추적 데이터를 활용한 비디오 캡셔닝, 비디오 내 등장인물의 식별 및 재식별, 비디오와 텍스트 간의 의미적 매칭 등 다양한 응용 분야에서 세계적인 성과를 내고 있습니다. 또한, 멀티모달 데이터를 효과적으로 융합하고 해석할 수 있는 새로운 신경망 구조와 학습 방법론을 제안하고 있습니다. 이러한 연구는 영화, 방송, OTT 서비스 등 실생활 미디어 환경에서의 사용자 경험을 혁신적으로 개선할 수 있는 기반 기술로 이어지고 있습니다. 더불어, 멀티모달 인공지능은 의료 영상 분석, 로봇 비전, 지능형 추천 시스템 등 다양한 산업 분야로 확장되고 있으며, 연구실은 이와 같은 실질적 응용을 위한 산학협력 및 기술 이전에도 적극적으로 참여하고 있습니다.

비디오 이해와 시공간적 추론은 유영재 연구실의 또 다른 핵심 연구 분야입니다. 연구실은 비디오 내에서 발생하는 복잡한 사건, 객체, 인물의 상호작용을 정밀하게 분석하고, 시간적 흐름과 공간적 관계를 동시에 고려하는 인공지능 모델을 개발하고 있습니다. 이를 통해 비디오 질문응답, 하이라이트 검출, 스토리 요약, 행동 인식 등 다양한 비디오 기반 인공지능 응용을 실현하고 있습니다. 연구실은 비디오의 시공간적 정보를 효과적으로 추출하고 활용하기 위해, 트랜스포머 기반의 멀티모달 신경망, 자기지도학습(self-supervised learning), 메모리 네트워크 등 첨단 딥러닝 기법을 적극적으로 도입하고 있습니다. 예를 들어, 비디오 내에서 중요한 장면을 자동으로 요약하거나, 360도 비디오에서 사용자의 관심 영역을 탐지하는 기술, 그리고 비디오 내 등장인물의 행동과 대사를 종합적으로 분석하는 모델을 개발하여 국제 학회에서 우수한 성과를 거두고 있습니다. 이러한 연구는 단순한 영상 분석을 넘어, 비디오와 자연어의 복합적 이해, 인간 수준의 시공간적 추론 능력을 갖춘 인공지능 개발로 이어지고 있습니다. 궁극적으로는 지능형 로봇, 스마트 미디어, 실시간 감시 시스템 등 다양한 분야에서 인공지능의 활용도를 극대화하는 데 기여하고 있습니다.