배경: 대규모 언어 모델(LLMs)은 임상 의사결정 지원의 잠재력을 갖고 있으나, 수혈을 위한 RhD 혈액형을 결정하는 것과 같은 특정 과제에서의 활용은 아직 충분히 탐색되지 않았다. 이에 우리는 한국의 의료 환경에서 RhD 혈액형 관련 이슈를 다루는 데 있어 여섯 가지 LLM의 정확도를 평가하였다. 방법: 실제 수혈 시나리오를 바탕으로 하고 전문가들이 검토한 객관식 15문항 및 참/거짓 문항을 개발하였다. 해당 문항은 여섯 개의 LLM(Clova X, Gemini 1.0, Gemini 1.5, ChatGPT-3.5, GPT-4.0, GPT-4o)에 대해 한국어와 영어로 각각 두 차례 시행되었다. 결과: 결과는 22명의 수혈의학 전문가의 수행 성적과 비교되었다. 특히 어려운 문항의 경우 프롬프트 엔지니어링을 적용하였고, 문항을 재평가하였다. 결과: <0.05). 영어 결과는 모든 모델에서 전반적으로 유사하였다. 수혈 전문가들은 더 높은 정확도(0.8)를 보였다. 프롬프트 엔지니어링을 적용한 다섯 문항 중 GPT-4o만이 하나의 문항에 대해 정답을 제시했으며, 나머지 모델들은 실패하였다. 모든 LLM 모델은 동일한 문항을 반복했을 때 응답을 변경하거나 응답하지 않았다. 결론: 시험한 모델들 중 GPT-4o가 전반적으로 가장 우수한 성능을 보였으며, RhD 혈액제제 수혈 의사결정에 유익할 수 있다. 다만 그 성능은 이를 일차적인 의사결정 도구보다는 보조적 역할로 사용하는 것이 가장 적절함을 시사한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.