연구목적 및 배경: 우리는 연속적인 영상의학 보고서를 분석하는 데 있어 두 개의 선도적 대규모 언어모델(LLM)인 GPT-4와 Gemini의 역량을 비교하여, 추가적인 임상적 주의가 필요한 종양학적 문제를 부각하고자 하였다. 연구방법: 본 연구에는 205명의 환자가 포함되었으며, 각 환자는 연속된 두 개의 영상의학 보고서를 각각 보유하고 있었다. 우리는 LLM을 사용하여 보고서의 소견을 분석하기 위한 3단계 과제로 구성된 프롬프트를 설계하였다. 정답(ground truth) 설정을 위해, 두 명의 영상의학과 전문의가 6수준 범주에 대해 합의에 도달하였다. 이 범주는 종양 소견(호전, 안정, 악화로 분류), ‘양성’, ‘종양에 대한 기술 없음’, 및 ‘기타 악성’으로 구성되었다. 이후 GPT-4와 Gemini의 성능을, 두 영상의학 보고서 간에서 해당 소견을 일치시키는 능력과 이러한 범주를 정확히 반영하는 능력에 따라 비교하였다. 결과: 연속 보고서 간 소견 일치의 정확도와 관련하여, 올바르게 일치된 소견의 비율은 Gemini(91.7%)보다 GPT-4에서 유의하게 더 높았다(96.2%) (P < 0.01). 종양학적 문제의 식별과 관련하여, 종양 관련 소견에 대한 판정의 정밀도, 재현율, 및 F1-score는 각각 GPT-4와 Gemini에서 0.68과 0.63(P = 0.006), 0.91과 0.80(P < 0.001), 그리고 0.78과 0.70로 나타났다. 종양 관련 소견에 대해 종양의 정확한 상태를 판정하는 데 있어 GPT-4가 Gemini보다 더 정확하였다(P < 0.001). 결론: 본 연구는 정교하게 설계된 프롬프트를 사용하여 연속 영상의학 보고서의 LLM 보조 분석이 종양학적 감시를 향상시킬 가능성을 보여주었다. GPT-4는 대응 소견의 일치, 종양 관련 소견의 식별, 그리고 종양 상태의 정확한 판정에서 Gemini에 비해 우수한 성능을 보였다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.