목적: 응급실(ED)에서의 정확한 분류(트리아지)는 적절한 자원 배분을 위해 매우 중요하다. 인공지능(AI)은 트리아지에 대해 탐색되어 왔으나, 기존 모형들은 요약된 임상 시나리오에 의존해 왔다. 본 연구는 실제 임상 대화에 대해 학습된 대규모 언어 모델(LLM)을 개발하고 평가하여 환자의 긴급도를 분류하고자 하였다. 재료 및 방법: 우리는 3개 상급(3차) 한국 병원의 익명화된 트리아지 단계 대화로 구성된 전국 규모의 선별된 데이터셋을 사용하였다. 한국 트리아지 및 중증도 척도(Korean Triage and Acuity Scale, KTAS)에 따라 긴급(CTAS 3) 또는 비긴급(KTAS 4-5)으로 분류하기 위해 BERT 기반 2개 모델을 개발하였다. 한 모델은 전체 대화를 토큰화하였고, 다른 모델은 문장 수준 토큰화와 발화자 역할 임베딩을 포함하는 계층적 구조를 적용하였다. 성능 지표에는 정확도, 정밀도, 재현율 및 F1-score가 포함되었다. 우리는 모델을 ChatGPT의 GPT-4o 및 ClinicalBERT와 비교하였고, SHapley Additive exPlanations(SHAP)를 사용하여 설명가능성을 평가하였다. 결과: 총 5244개의 임상 대화가 수집되었고, 이 중 1057개의 트리아지 단계 대화가 사용되었으며, 950개는 학습, 107개는 테스트에 사용되었다. 계층적 구조를 적용한 본 연구 모델은 75.94%의 정확도를 달성하여 ChatGPT(56.68%) 또는 미세조정된 ClinicalBERT(69.42%)보다 유의하게 우수한 성능을 보였다. 긴급 사례에서 가장 우수한 모델은 재현율 0.9610을 달성하였으며, 이는 ChatGPT(0.5352)를 능가하였다. SHapley Additive exPlanations 분석 결과, 본 모델은 KTAS 기준과 일치하는 임상적으로 관련 있는 단서를 중심으로 주의를 기울이는 것으로 확인되었다. 결론: 실제 응급실 대화로 학습한 BERT 기반 LLM은 ChatGPT와 같은 범용 모델에 비해 트리아지 정확도에서 유의하게 더 우수하였다. 이러한 접근은 해석 가능하고 효율적인 AI를 통해 임상 의사결정 지원을 향상시킬 잠재력을 보여준다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.