멀티모달 예측과 LLM 파인튜닝 기반 자동화 모델 최적화 연구

Model Optimization for Multimodal Prediction and LLM Fine-Tuning

연구 내용

수치 시계열과 영상 데이터를 결합해 미세먼지를 예측하는 멀티모달 딥러닝 모델과, QLoRA로 도메인 데이터셋을 학습해 질문·답변을 생성하는 LLM 파인튜닝 기법을 함께 최적화하는 연구

미세먼지 예측 문제에서 수치 데이터와 영상 데이터의 두 모달리티를 결합하는 데이터 구성 전략을 적용하고, LSTM AutoEncoder로 수치 시계열을 처리한 뒤 기본 CNN과 VGGNet 계열을 통해 이미지 특징을 추출합니다. VGGNet의 네트워크 깊이에 따른 성능 차이를 비교해 멀티모달 모델의 일반화 성능을 개선하는 방향으로 모델 구조를 최적화합니다. 더불어 KCSAT-ENG와 같은 도메인 데이터셋을 기반으로 LLaMA-3-8B-Instruct를 QLoRA로 파인튜닝하고, 질문 생성 모델과 답변 생성 모델을 분리한 교차 검증 절차로 자동 생성 정확도를 보정하는 연구를 수행합니다.

관련 프로젝트

0건

연구 흐름

초기에는 수치·영상 두 모달리티를 결합해 8시간 후 미세먼지 수준을 예측하는 멀티모달 딥러닝 파이프라인을 구축하고, LSTM AutoEncoder와 CNN/VGGNet 조합을 통해 구조별 성능 차이를 실험적으로 규명했습니다. 이후 네트워크 깊이 변화가 예측 성능에 미치는 영향을 비교해 모델 선택 기준을 정리했습니다. 최근에는 환경 예측에서 축적된 딥러닝 최적화 관점을 LLM 영역으로 확장하여 QLoRA 기반 파인튜닝을 수행하고, 질문·답변 생성을 분리한 교차 검증 구성으로 도메인 교육 QA 자동화 성능을 개선하는 흐름으로 진행하고 있습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

미세먼지 예측 기반 건강 피해 저감
멀티모달 데이터 결합 예측 엔진
VGGNet 기반 이미지 특징 추출 자동 선택
교육용 질문·답변 자동 생성
도메인 데이터셋 기반 LLM 파인튜닝
자원 효율형 LLM 학습 파이프라인
검증 중심 QA 생성 절차
자동 채점 및 학습 피드백 도구
시계열-영상 융합 예측 시스템
실사용 환경에서 모델 성능 비교 체계