배경 및 목적: GPT-4와 같은 대규모 언어 모델(LLM)은 임상 및 교육 환경에서 점차 활용되고 있으나, 수혈의학과 같은 세부 전문 분야에서의 타당성은 충분히 규명되지 않았다. 본 연구는 의사(MD)와 의료기술사(MT)를 위한 한국 국가면허시험에서 수혈 관련 문항에 대해 6종의 LLM이 보인 성능을 평가하였다. 재료 및 방법: 공개적으로 이용 가능한 자료에서 총 23개 MD 문항과 67개 MT 문항(2020-2023)을 추출하였다. 모든 문항은 원래 한국어로 작성되었으며, 교차언어 성능 평가를 위해 이후 영어로 번역되었다. 각 모델에는 표준화된 객관식 프롬프트(5개 보기)를 제공하였고, 정답 여부는 명시적인 정답 선택으로 판정하였다. 정확도는 정답 반응의 비율로 계산하였으며, 0.75를 성능 기준(threshold)으로 지정하였다. 언어 기반 차이를 분석하기 위해 카이제곱 검정을 사용하였다. 결과: GPT-4와 GPT-4o는 두 언어와 두 시험 유형 모두에서 일관되게 0.75 기준을 상회하였다. GPT-3.5는 영어에서는 합리적인 정확도를 보였으나 한국어에서는 현저한 저하를 보였으며, 이는 다언어 일반화에 대한 제한을 시사한다. Gemini 1.5는 특히 한국어에서 Gemini 1을 능가했으나, 두 모델 모두 기술적 세부 영역에 따라 변동성을 보였다. Clova X는 설정 전반에서 일관되지 않은 결과를 보였다. 모든 모델은 법적 및 윤리적 시나리오에서 제한된 성능을 보였다. 결론: GPT-4와 GPT-4o는 다양한 수혈의학 주제에서 견고하고 신뢰할 수 있는 성능을 보였다. 그러나 모델 간 및 언어 간 변동성이 관찰되어, 특히 지역의 규제 및 윤리적 틀의 맥락에서 안전하고 적절한 임상 적용을 지원하기 위해 표적 미세조정의 필요성이 강조된다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.