본 연구는 대규모 언어모델(Large Language Model, LLM) 기반 자동문항생성 기술의 활용 가능성과 한계를 탐색하기 위해 수행되었다. 이를 위해 사실적 지식에 대한 이해와 논리적 추론이 요구되는 중등 사회과 문항을 대상으로 분석을 수행하였다. 텍스트, 이미지, 표, 그래프 등 문항의 구성요소를 기준으로 네 가지 문항 유형을 분류하고, 다양한 프롬프팅 기법을 활용하여 각 유형별로 문항 생성을 시도하였다. 문항 생성 모델 성능의 일관성과 정확성을 확보하기 위해 OpenAI의 어시스턴트 API 환경에서 문항을 생성하였고, 2015 개정 사회과 교육과정 지식체계 문서를 투입 자료로, DOK(Depth of Knowledge)의 프레임워크를 문항 생성의 준거로 활용하였다. 연구 결과, LLM은 교육과정 성취기준에 포함된 개념과 관련된 지식을 추출하여 발문과 선택지 등 문항 구성에 필요한 텍스트를 적절히 생성할 수 있었다. 특히 예시 문항을 제공한 뒤 원샷 프롬프팅을 이용하여 변형 문항을 생성하는 작업에서 활용도가 높은 것으로 나타났다. 표 또는 그래프가 포함된 문항의 경우, 사전에 정의된 템플릿 기반의 문항 생성 방법과 LLM의 자료 해석 능력을 조합하여 활용하는 경우 성능이 더 향상될 것으로 보인다. 단, 생성된 문항은 서술 내용 중 오류가 포함될 가능성이 있어, 문항 개발 과정에서 문항 초안으로 활용할 수 있을 것으로 보이며, 전문가의 검토를 거쳐 완성도를 높이면 실제 평가 상황에서 활용할 수 있는 수준의 정확성과 타당성을 확보할 수 있을 것으로 보인다. 이상의 연구 결과를 바탕으로 LLM을 활용한 자동문항생성 기술이 문항 개발 과정을 개선하는 데에 유용성과 활용 가능성을 가짐을 확인하였으며, 다양한 유형의 문항을 생성하기 위한 효율적인 방법을 제안하였다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.