배경: 변환기(transformers)로부터의 양방향 인코더 표현(BERT) 모델은 환자 분류 및 질병 예측과 같은 임상 응용 분야에서 상당한 주목을 받아왔다. 그러나 현재의 연구들은 대체로 모델에 대한 충분한 맥락 이해 평가 없이 응용 개발 단계로 진행되는 경향이 있다. 또한 비영어권 국가의 의료 문서를 사용하여 BERT 모델을 비교한 연구는 제한적이다. 따라서 영어 임상 노트로 학습된 BERT 모델의 비영어권 맥락 적용 가능성은 아직 확인되지 않았다. 이러한 문헌상의 공백을 해결하기 위해, 본 연구는 비영어 임상 노트에 대해 가장 효과적인 BERT 모델을 파악하는 데 초점을 두었다. 목적: 본 연구에서는 한국어와 영어가 혼합된 임상 노트에 적용된 다양한 BERT 모델의 문맥 이해 능력을 평가하였다. 본 연구의 목적은 이러한 문서의 맥락을 이해하는 데 뛰어난 BERT 모델을 식별하는 것이었다. 방법: 한국의 한 3차 의료기관에서 164,460명의 환자 데이터를 사용하여 BERT-base, BERT for Biomedical Text Mining(BioBERT), Korean BERT(KoBERT), Multilingual BERT(M-BERT)를 사전학습(pretrain)하여 문맥 이해 능력을 향상시킨 다음 7개의 미세조정(fine-tuning) 과제에서 성능을 비교하였다. 결과: 모델 성능은 과제와 토큰 사용 방식에 따라 달라졌다. 첫째, BERT-base와 BioBERT는 문서 분류와 같은 분류(classification) 과제에서 ([CLS]) 토큰 임베딩을 사용하는 경우 뛰어난 성능을 보였다. BioBERT는 89.32의 최고 F1-score를 달성했다. 또한 BERT-base와 BioBERT는 사전에 제한된 한국어 토큰만 포함되어 있더라도 문서 패턴 인식에서 효과성을 보여주었다. 둘째, M-BERT는 독해(reading comprehension) 과제에서 우수한 성능을 보이며 93.77의 F1-score를 달성하였다. 더 적은 수의 단어를 알 수 없음(unknown, [UNK]) 토큰으로 대체할수록 더 나은 결과가 얻어졌다. 셋째, M-BERT는 지식 추론(knowledge inference) 과제에서 뛰어났다. 이 과제에서는 문서의 질병명들이 [MASK] 토큰으로 대체된 뒤, 63개의 후보 질병명으로부터 정답 질병명이 추론된다. M-BERT는 95.41의 최고 hit@10 점수를 달성했다. 결론: 본 연구는 다국어 임상 분야에서 다양한 BERT 모델의 효과성을 강조하였다. 본 결과는 임상 및 언어 기반 응용 분야에서 참고 자료로 활용될 수 있다.

: 본 연구는 토픽 모델링에 기반한 머신러닝 프로젝트가 질병의 진행을 효과적으로 예측할 수 있음을 보여준다. 또한 두 데이터 세트의 토픽 구조 차원에 일치하는 방식으로 토픽 모델을 이식하는 독창적인 방법을 제시한다. 보충정보: 온라인 버전에는 10.1007/s13534-023-00322-7에서 제공되는 추가 자료가 포함되어 있다.