후향적 분석.목적: 임상 설문지를 처리하는 데 있어 대규모 언어 모델(LLM) 기반 자동화의 효능을 평가하고 ChatGPT와 Claude 간의 성능을 비교한다.문헌 고찰 요약: 척추 수술에서 환자보고 결과(patient-reported outcome measures, PRO)는 매우 중요하지만, 수기 처리는 시간 소요가 크고 오류가 발생하기 쉽다.최근의 LLM 발전은 잠재적인 자동화 해결책을 제공한다.자료 및 방법: 56개 설문지 세트(336쪽)를 ChatGPT와 Claude를 사용하여 각각 3회 처리하였다.PDF 전처리, 광학 문자 인식 처리, LLM 분석을 포함하는 파이썬 프로그램을 개발하였다.평가 지표에는 정확도, 처리 시간, 토큰 사용량, 비용 효율성이 포함되었다.결과: Claude는 ChatGPT(86.54%)보다 높은 정확도(96.76%)를 보였다.두 모델 모두 설문지를 약 27초에 처리했으며, 이는 수기 입력의 85초와 비교된다.Claude는 사용 토큰 수가 더 적었으나(16,568.8 vs. 18,331.4) 비용은 더 높았다(설문지당 0.023).높은 반복성이 관찰되었으며(Claude: =0.97, ChatGPT: =0.86),결론: LLM 기반 자동화는 임상 설문지 처리에 있어 상당한 잠재력을 보여주며, 큰 시간 절감과 높은 정확도를 제공한다.수기 검증은 여전히 필요하지만, LLM의 효율성은 대규모 임상 연구에서 특히 Claude 모델을 활용할 수 있는 실행 가능성을 시사한다.
*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.