Zero-shot 지능형 선별관제 시스템을 위한 Multimodal 파운데이션 모델 및 AI 가속기 개발

2024산업통상자원부산업기술국제협력
프로젝트 소개
본 과제는 CCTV 영상과 자연어를 함께 이해하는 AI를 개발하여, 미리 학습하지 않은 상황도 찾아내는 Zero-shot 지능형 선별관제 시스템을 구축하는 연구임. 영상 속 사람, 사물, 행동 등의 정보를 효과적으로 분석하고 검색하는 기술 개발을 통해 다양한 관제 환경에 대응하는 것이 핵심임. 연구 목표는 Zero-shot 지능형 선별관제를 위한 Multimodal 파운데이션 모델과 AI 가속기를 개발하는 데 있음. 핵심 연구 내용은 Auto Labeling 기반 Multimodal Corpus 및 Human Feedback 데이터 구축, Local Information 추출이 가능한 지능형 선별관제 특화 VLM 연구, VLM 하드웨어 최적화, 벡터 검색 특화 연산기 개발, 서비스 데모 구현임. 기대 효과는 이미지·자연어 멀티모달 임베딩과 RLHF를 활용한 검색 정확도 향상, 실제 CCTV 환경에 강한 AI 모델 확보, 국내 AI HW 및 데이터 분석 기술 경쟁력 강화임. 또한 스마트시티와 ITS 등 연관시장으로의 확산 및 글로벌 영상분석 시장 진출 기반 마련임.
지능형영상분석제로샷학습비전언어모델벡터검색특화연산기가속기Intelligent Video AnalyticsZeroshot learningVision Language ModelVector Search Specialised OperatorsAI accelerators
참여형태
주관
사업명
산업기술국제협력
부처명
산업통상자원부
주관기관명
이노뎁(주)
공동/위탁수행기관명
연세대학, Queen Mary University of London, Imperial College London, 리벨리온(주)
과제 수행연도
2024
과제 수행기간
2024.08.01 ~ 2027.07.31
과제 고유번호
2410008126
연구 개발단계
개발연구
연구비
총연구비
1,093,557,000 원
정부지원연구개발비
900,000,000 원
위탁연구비
0 원
민간연구비
193,557,000 원
주관/협동기관 정보
주관/협동수행기관명연구수행주체지역
주관이노뎁(주)중소기업서울특별시
공동/위탁기관 정보4건
공동/위탁수행기관명연구수행주체참여형태공동연구비 수입금액 (원)공동연구비 지출금액 (원)
공동연세대학대학연구·기술개발--
공동Queen Mary University of London기타정보교환--
공동Imperial College London기타정보교환--
공동리벨리온(주)중소기업연구·기술개발--
사업화 정보1건
성과발생년도사업화내용사업화형태기술이전유형업체명당해년도매출액
2024Zero-shot 지능형 선별관제 시스템을 위한 Multimodal 파운데이션 모델 및 AI 가속기 개발기술보유자의 직접사업화_기존업체-상품화-이노뎁(주)-
과제 기반 국내외 특허0건
출원/등록 기관발명의 명칭출원일자출원국가출원번호등록일자등록번호
과제 기반 SCI(E) 논문0건
논문명학술지명DOI/URL