배경: 신속하고 정확한 분류(트리아지)는 응급실(ED) 진료에서 매우 중요하다. 최근에는 대규모 언어 모델(LLM)을 트리아지 의사결정 지원에 활용하는 것에 대한 관심이 증가하고 있다. 그러나 기존 연구의 대부분은 실제 임상 사례가 아닌 시뮬레이션 상황을 통해 이러한 모델을 평가해 왔다. 따라서 본 연구에서는 실제 세계의 임상 대화(콘버세이션)를 사용하여 응급실에서의 비응급(비중증) 트리아지 지원을 위한 복수의 상용 LLM의 성능을 평가하였다. 방법: 한국의 3개 상급종합병원에서 전향적으로 수집된 실제 트리아지 대화를 후향적으로 분석하였다. OpenAI GPT-4o, GPT-4.1, O3, Google Gemini 2.0 flash, Gemini 2.5 flash, Gemini 2.5 pro, DeepSeek V3, DeepSeek R1을 포함한 여러 상용 LLM을, 요약되지 않은 대화만을 바탕으로 환자의 긴급도(urgency)를 분류한 정확도 측면에서 평가하였다. 트리아지 간호사가 배정한 한국형 트리아지 및 중증도 척도(KTAS)를 LLM 분류 평가의 골드 스탠더드로 사용하였다. 모델 성능은 제로샷 프롬프팅 조건과 대표 예시를 포함한 퓨샷 프롬프팅 조건에서 모두 평가하였다. 결과: 총 1,057건의 트리아지 사례가 분석에 포함되었다. 모델 중 Gemini 2.5 flash는 가장 높은 정확도(73.8%), 특이도(88.9%), 양성예측도(PPV, 94.0%)를 보였다. Gemini 2.5 pro는 가장 높은 민감도(90.9%)와 F1-점수(82.4%)를 보였으나, 특이도는 23.3%로 낮았다. GPT-4.1 또한 균형 잡힌 높은 정확도(70.6%)와 민감도(81.3%)를 보였으며, 실용적인 응답 시간(1.79s)을 나타냈다. 성능은 모델 간뿐 아니라 동일 벤더의 서로 다른 버전 간에도 폭넓게 달랐다. 퓨샷 프롬프팅에서는 대부분의 모델에서 정확도와 F1-점수가 추가로 향상되었다. 결론: LLM은 실제 임상 대화를 기반으로 응급실 환자의 긴급도를 정확하게 트리아지할 수 있다. 여러 모델이 높은 민감도와 허용 가능한 응답 시간을 동시에 보였으며, 다양한 임상 환경에서 비응급 트리아지 지원 도구로서 LLM의 적용 가능성을 뒷받침한다. 본 결과는 비응급 환자(KTAS 3-5)에 적용되며, 향후 연구에서는 객관적 임상 데이터와 실시간 워크플로우의 통합을 다루어야 한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.