질문-답변 생성에 대한 전통적 접근 방식은 자원 집약적이어서, 이러한 문제에 대응하기 위한 혁신적 자동화 기법이 필요하다. 이를 위해 우리는 정교하게 선별된 도메인 특화 데이터셋을 활용하여 Quantized Low-Rank Adaptation(QLoRA)에 기반한 미세조정 전략을 제안한다. 사례 연구로서, 우리는 한국 대학수학능력시험(College Scholastic Ability Test, KCSAT)에 초점을 맞추고 실제 및 모의 시험으로부터 수집한 질문과 답변으로 구성된 KCSAT-ENG 데이터셋을 소개한다. 우리의 접근 방식은 LLaMA-3-8B-Instruct 모델을 미세조정하여 22가지 서로 다른 작업 유형(task types)에 대한 질문과 답변을 생성하도록 하는 것이었다. 본 연구의 핵심 혁신은 질문 생성 및 답변 생성을 위한 별도의 모델을 배치하고, 정확도를 향상시키기 위해 교차 검증(cross-verification) 과정을 활용한 점이다. QLoRA 기법을 평가하기 위해 우리는 양자화, rank, alpha 값들을 변화시키며 광범위한 실험을 수행하였다. 그 결과 최적 구성은 양자화를 적용하지 않았을 때 질문 생성 모델이 rank, α = 32, 8에서 각각 가장 우수했으며, 답변 생성 모델은 rank, α = 64, 16에서 각각 최적의 성능을 보였다. 비(非) 미세조정 LLaMA-3-8B-Instruct 모델과 비교할 때, 질문 생성 모델은 41.5% 향상을 보였고, 답변 생성 모델은 16.1% 향상을 달성하였다. 이러한 결과는 정확하고 비용 효율적이며 확장 가능한 자동화 교육 도구를 구현하는 데 있어 QLoRA 기반 미세조정의 잠재력을 시사한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.