멀티모달 생성형 AI를 활용한 미술 감상 및 수업 관찰 기반 학습 분석 연구
Multimodal Generative AI for Art Appreciation Tutoring and Classroom Observation Analytics
연구 내용
멀티모달 대화형 튜터와 비전 기반 관찰 평가를 설계해 감상 교육과 교사 분석을 지원하는 연구
본 연구는 멀티모달 대화형 생성형 AI를 교육 활동에 적용하는 연구입니다. 미술 감상 교육에서는 MLLM을 위한 instruction tuning을 수행하고, GPT 기반으로 생성된 가상 대화 데이터 설계로 교육용 상호작용 데이터를 구축합니다. 이후 LLaVA-Docent-V2를 통해 데이터 품질과 pedagogical data generation 절차를 개선하여 학습자용 질문과 안내의 일관성을 높이는 방향을 제시합니다. 또한 GPT-4 Vision을 활용한 영상 기반 관찰 평가(Video-based Automatic Assessment System)를 통해 수업 역학을 분석하고 교사의 성찰을 지원하는 구조를 개발합니다. 마지막으로 Video GenAI의 K-12 통합 가능성을 TPACK과 TAM 관점에서 정리합니다.
관련 연구 성과
관련 논문
4편
관련 특허
0건
관련 프로젝트
0건
연구 흐름
중기 연구는 미술 감상 교육을 목표로 멀티모달 튜터 모델을 설계하고, GPT가 생성한 가상 대화 데이터로 instruction tuning을 수행하는 방식으로 전개되었습니다. 같은 시기에 교사 분석으로 확장하여 GPT-4 Vision 기반 관찰 평가 시스템을 프로토타입으로 구현하고 사용성 검증을 수행했습니다. 이후 후속 연구에서는 미술 감상 튜터의 데이터 품질을 개선해 학습 데이터 생성의 신뢰성을 높이는 방향으로 심화되었습니다. 최근에는 video generative AI를 K-12에 적용할 때 교사 관점에서의 요구와 제약을 정리하는 연구로 이어졌습니다.
활용 가능성
활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.
- 미술 감상 대화형 튜터
- 교육용 멀티모달 데이터셋 설계
- 영상 기반 수업 관찰 평가
- 교사 성찰 지원 도구
- Video GenAI 수업 설계 가이드
- 시각 기반 학습 피드백 생성
- 멀티모달 성능 벤치마킹
- 교육 콘텐츠 상호작용 흐름 설계
- 교실 적용 프로토타입 개발
- 데이터 품질 개선 기반 학습지원
관련 논문
구분
제목
LLaVA-docent: Instruction tuning with multimodal large language model to support art appreciation education
LLaVA-Docent-V2: Improving Data Quality and Pedagogical Data Generation to Train Large Multimodal Models for Art Appreciation Education
I see you: teacher analytics with GPT-4 vision-powered observational assessment
How Can Video Generative AI Transform K-12 Education? Examining Teachers' Perspectives through TPACK and TAM