● 멀티모달 AI 에이전트 시대를 선도할 실무형 인재 양성 : 본 과제는 다양한 산업에서 생성 AI 기반의 업무 효율화와 서비스 혁신을 주도할 수 있는 '멀티모달 AI 에이전트 시대의 실무형 인재'를 양성하는 것을 목표로 함. 학생들에게 게임 분야에서 활용되는 텍스트, 이미지, 오디오, 3D 공간, 애니메이션 등 다양한 모달리티를 경험하게 하고, 자율적으로...
멀티모달AI
AI에이전트
생성AI 파운데이션 모델
실무형 인재
게임·미디어
2
2024년 9월-2027년 8월
|1,688,310,000원
AI와 VR을 활용한 몰입형 음악 교육 콘텐츠 개발 및 적용
1) AI를 활용한 음악 창작 교육 시스템 개발: 음악 언어 모델을 통해 학습자의 음악 창작 과정을 보조하고, 완성된 음악에 대한 피드백을 제공하며, 가창 합성으로 결과물을 제시함.2) 가상현실을 활용한 실감형 음악 교육 콘텐츠 개발: 국악 작품을 VR 기반 실감형 교육 콘텐츠로 제작하고, 악기 연주 인터랙션을 구현하며, 표현력 있는 연주를 위한 가상 국악...
음악 교육
음악 인공지능
인간컴퓨터상호작용
가상현실
국악
3
주관|
2023년 1월-2023년 12월
|20,000,000원
최소지도 및 설명가능성을 활용한 보다 강건한 시각인지기술 연구
- 본 연구 과제에서는 대한민국 서강대학교와 독일 튀빙겐대학교의 인공지능 연구자 간의 협력 연구를 통하여 상호간의 전문성에 해당하는 최소지도학습(연구책임자), 설명가능성 및 강건성(상대측연구자)을 융합하여 보다 발전된 시각인지기술을 개발하고자 함
- 보다 구체적으로는, 클래스 레이블 외에도 이미지 내 객체의 속성에 대한 레이블과 위치를 나타내는 바운딩 박스 등을 활용하여 Visual grounding과 같은 설명가능성을 학습에 적용하여 이를 통해 인공지능 모델의 추론 결과를 사람이 보다 쉽게 이해할 수 있는 새로운 학습기법을 연구할 예정임
- 이 때 바운딩 박스와 분할 마스크를 활용한다는 점에서 융합지도(hybrid supervision)를 수행하게 되는데, 이러한 레이블들은 비용이 클래스 레이블에 비해 상당히 비싸지만 모든 샘플이 아닌 소수 이미지에만 이러한 레이블을 도입하는 방식을 통해 여러 단계의 레이블을 활용함의 장점을 취하면서도 결과적으로 총 데이터의 비용을 최소화할 수 있을 것이라 생각됨
- 깊은 통찰력과 세계적 수준의 실무역량을 갖춘 메타버스 고급인재 양성- 창조적 아이디어를 실감미디어 기술을 통해 발전시키는 능력 배양- 메타버스 환경과 기술을 지속가능한 사업모델로 구현- 실감미디어 이용자 및 시장에 대한 다양한 대응 역량 증대- 최적화된 XR 실감미디어를 개발할 수 있는 심화 역량 강화- 3차원 가상공간 및 이안의 가상 생명체 및 가상인...
Weakly-supervised object localization (WSOL)이란-
- 객체의 위치정보 없이 학습한 모델을 활용하여 객체의 위치정보를 추론하는 기술
- 이미지 클래스 레이블을 활용한 이미지분류기를 활용하는 것이 최근 5년간의 세계적 추세
- 보다 구체적으로는, 학습 단계에서 클래스 레이블로 학습된 합성곱 네트워크를 활용
- 추론 단계에서 합성곱 네트워크가 이미지의 어느 부분을 보고 판단하였는지 분석
- 분석된 결과를 기반으로 객체의 위치 검출 수행
기존 WSOL 기술의 한계점 및 최신 연구 현황
- 객체의 위치 정보 없이 학습하기 때문에 가능한 해가 여러개인 불량설정성 문제 발생
- 이로 인해 객체의 특징적 국소부위만 검출하거나 배경요소를 함께 검출하는 문제 발생
- 기존 제안된 연구 기술들은 대부분 문제의 단면만을 해결하고자 하고 있음
- 최근 5년간 불량설정성 문제를 근본적으로 해결하는 접근법은 매우 드문 상황
제안 방법 #1: 네거티브 샘플을 활용한 새로운 WSOL 학습 방식
- 핵심 아이디어: 객체에 대한 정보만 분류기 학습에 활용하는 것이 아니라, 객체가 없다는 정보를 함께 모델 학습에 활용하여 객체의 위치를 보다 정확히 학습할 수 있도록 유도
- 픽셀 단위 레이블을 활용하는 것이 아니라는 점에서 완전지도학습에서 활용하는 레이블링보다 더 저렴하다는 장점이 있으면서도 이를 통해 불량설정성 문제를 직접적으로 완화할 수 있으므로 보다 보다 근본적인 문제 해결이 가능하리라 예상됨
제안 방법 #2: 네거티브 샘플 기반 자가대조기법을 활용한 작은 객체 인식 기술
- 핵심 아이디어: 작은 객체가 존재한다고 추정되는 위치를 파악한 후, 해당 위치를 확대하여 다시 분류기에 입력하여 작은 객체임에도 불구하고 마치 큰 객체인 것처럼 분류기가 볼 수 있도록 하는 것
- 구체적으로는 원본 이미지와 줌-인된 이미지로부터 추출된 각각의 위치인식지도를 양의 쌍(positive pair)로 설정하고, 원본 위치인식지도와 줌-인된 이미지로부터 추출된 위치인식지도의 반전값을 음의 쌍(negative pair)로 설정하여 위 방법 #1로부터 더욱 심화·발전된 네거티브샘플 기반 자가대조기법 목적함수를 구축하고자 하며 이로부터 작은 객체에 대한 WSOL 기술의 인식성능을 크게 향상시킬 수 있을 것이라 기대