배경: 변환기(transformers)로부터의 양방향 인코더 표현(BERT) 모델은 환자 분류 및 질병 예측과 같은 임상 응용 분야에서 상당한 주목을 받아왔다. 그러나 현재의 연구들은 대체로 모델에 대한 충분한 맥락 이해 평가 없이 응용 개발 단계로 진행되는 경향이 있다. 또한 비영어권 국가의 의료 문서를 사용하여 BERT 모델을 비교한 연구는 제한적이다. 따라서 영어 임상 노트로 학습된 BERT 모델의 비영어권 맥락 적용 가능성은 아직 확인되지 않았다. 이러한 문헌상의 공백을 해결하기 위해, 본 연구는 비영어 임상 노트에 대해 가장 효과적인 BERT 모델을 파악하는 데 초점을 두었다. 목적: 본 연구에서는 한국어와 영어가 혼합된 임상 노트에 적용된 다양한 BERT 모델의 문맥 이해 능력을 평가하였다. 본 연구의 목적은 이러한 문서의 맥락을 이해하는 데 뛰어난 BERT 모델을 식별하는 것이었다. 방법: 한국의 한 3차 의료기관에서 164,460명의 환자 데이터를 사용하여 BERT-base, BERT for Biomedical Text Mining(BioBERT), Korean BERT(KoBERT), Multilingual BERT(M-BERT)를 사전학습(pretrain)하여 문맥 이해 능력을 향상시킨 다음 7개의 미세조정(fine-tuning) 과제에서 성능을 비교하였다. 결과: 모델 성능은 과제와 토큰 사용 방식에 따라 달라졌다. 첫째, BERT-base와 BioBERT는 문서 분류와 같은 분류(classification) 과제에서 ([CLS]) 토큰 임베딩을 사용하는 경우 뛰어난 성능을 보였다. BioBERT는 89.32의 최고 F1-score를 달성했다. 또한 BERT-base와 BioBERT는 사전에 제한된 한국어 토큰만 포함되어 있더라도 문서 패턴 인식에서 효과성을 보여주었다. 둘째, M-BERT는 독해(reading comprehension) 과제에서 우수한 성능을 보이며 93.77의 F1-score를 달성하였다. 더 적은 수의 단어를 알 수 없음(unknown, [UNK]) 토큰으로 대체할수록 더 나은 결과가 얻어졌다. 셋째, M-BERT는 지식 추론(knowledge inference) 과제에서 뛰어났다. 이 과제에서는 문서의 질병명들이 [MASK] 토큰으로 대체된 뒤, 63개의 후보 질병명으로부터 정답 질병명이 추론된다. M-BERT는 95.41의 최고 hit@10 점수를 달성했다. 결론: 본 연구는 다국어 임상 분야에서 다양한 BERT 모델의 효과성을 강조하였다. 본 결과는 임상 및 언어 기반 응용 분야에서 참고 자료로 활용될 수 있다.

: 본 연구는 토픽 모델링에 기반한 머신러닝 프로젝트가 질병의 진행을 효과적으로 예측할 수 있음을 보여준다. 또한 두 데이터 세트의 토픽 구조 차원에 일치하는 방식으로 토픽 모델을 이식하는 독창적인 방법을 제시한다. 보충정보: 온라인 버전에는 10.1007/s13534-023-00322-7에서 제공되는 추가 자료가 포함되어 있다.

생명과학 분야의 인공지능 응용 중 하나인 지식 집약형 질의응답은, 이 분야에서 도메인 전문성이 특히 중요하다는 점에 주목하여, 사전학습된 언어 모델에 생의학 지식을 효율적으로 주입하는 방법을 제안하며, 궁극적으로 생의학 질의응답을 목표로 한다. 대규모 지식 그래프의 모든 의미를 전체 모델에 이전하는 것은 너무 많은 파라미터를 필요로 하여 계산 비용과 시간을 증가시킨다. 본 연구는 어댑터를 활용하여 사전학습된 언어 모델에 Unified Medical Language System 지식을 주입하는 효율적인 접근법을 조사하고, 지식 그래프에서 모든 의미를 사용할 필요가 있는지에 의문을 제기한다. 본 연구는 지식 그래프를 분할하고, 보다 효율적인 사전학습을 위해 일부를 폐기하거나 병합하는 전략에 초점을 둔다. 세 개의 생의학 질의응답 파인튜닝 데이터셋에 대한 결과에 따르면, 의미적으로 분할된 그룹에 대해 사전학습된 어댑터는 평가 지표, 필요한 파라미터 수, 시간 측면에서 더 효율적인 성능을 보였다. 또한 결과는 개념 수가 더 적은 그룹을 폐기하는 것이 소규모 데이터셋에 더 나은 방향이며, 이러한 그룹을 병합하는 것이 대규모 데이터셋에 더 적합하다는 점을 보여준다. 더 나아가 지표 결과는 약간의 개선을 나타내어, 어댑터 방법론이 그룹 구성 방식에 대해 비교적 둔감함을 시사한다.

배경: 변환기(transformers)로부터의 양방향 인코더 표현(BERT) 모델은 환자 분류 및 질병 예측과 같은 임상 응용 분야에서 상당한 주목을 받아왔다. 그러나 현재의 연구들은 대체로 모델에 대한 충분한 맥락 이해 평가 없이 응용 개발 단계로 진행되는 경향이 있다. 또한 비영어권 국가의 의료 문서를 사용하여 BERT 모델을 비교한 연구는 제한적이다. 따라서 영어 임상 노트로 학습된 BERT 모델의 비영어권 맥락 적용 가능성은 아직 확인되지 않았다. 이러한 문헌상의 공백을 해결하기 위해, 본 연구는 비영어 임상 노트에 대해 가장 효과적인 BERT 모델을 파악하는 데 초점을 두었다. 목적: 본 연구에서는 한국어와 영어가 혼합된 임상 노트에 적용된 다양한 BERT 모델의 문맥 이해 능력을 평가하였다. 본 연구의 목적은 이러한 문서의 맥락을 이해하는 데 뛰어난 BERT 모델을 식별하는 것이었다. 방법: 한국의 한 3차 의료기관에서 164,460명의 환자 데이터를 사용하여 BERT-base, BERT for Biomedical Text Mining(BioBERT), Korean BERT(KoBERT), Multilingual BERT(M-BERT)를 사전학습(pretrain)하여 문맥 이해 능력을 향상시킨 다음 7개의 미세조정(fine-tuning) 과제에서 성능을 비교하였다. 결과: 모델 성능은 과제와 토큰 사용 방식에 따라 달라졌다. 첫째, BERT-base와 BioBERT는 문서 분류와 같은 분류(classification) 과제에서 ([CLS]) 토큰 임베딩을 사용하는 경우 뛰어난 성능을 보였다. BioBERT는 89.32의 최고 F1-score를 달성했다. 또한 BERT-base와 BioBERT는 사전에 제한된 한국어 토큰만 포함되어 있더라도 문서 패턴 인식에서 효과성을 보여주었다. 둘째, M-BERT는 독해(reading comprehension) 과제에서 우수한 성능을 보이며 93.77의 F1-score를 달성하였다. 더 적은 수의 단어를 알 수 없음(unknown, [UNK]) 토큰으로 대체할수록 더 나은 결과가 얻어졌다. 셋째, M-BERT는 지식 추론(knowledge inference) 과제에서 뛰어났다. 이 과제에서는 문서의 질병명들이 [MASK] 토큰으로 대체된 뒤, 63개의 후보 질병명으로부터 정답 질병명이 추론된다. M-BERT는 95.41의 최고 hit@10 점수를 달성했다. 결론: 본 연구는 다국어 임상 분야에서 다양한 BERT 모델의 효과성을 강조하였다. 본 결과는 임상 및 언어 기반 응용 분야에서 참고 자료로 활용될 수 있다.

: 본 연구는 토픽 모델링에 기반한 머신러닝 프로젝트가 질병의 진행을 효과적으로 예측할 수 있음을 보여준다. 또한 두 데이터 세트의 토픽 구조 차원에 일치하는 방식으로 토픽 모델을 이식하는 독창적인 방법을 제시한다. 보충정보: 온라인 버전에는 10.1007/s13534-023-00322-7에서 제공되는 추가 자료가 포함되어 있다.

생명과학 분야의 인공지능 응용 중 하나인 지식 집약형 질의응답은, 이 분야에서 도메인 전문성이 특히 중요하다는 점에 주목하여, 사전학습된 언어 모델에 생의학 지식을 효율적으로 주입하는 방법을 제안하며, 궁극적으로 생의학 질의응답을 목표로 한다. 대규모 지식 그래프의 모든 의미를 전체 모델에 이전하는 것은 너무 많은 파라미터를 필요로 하여 계산 비용과 시간을 증가시킨다. 본 연구는 어댑터를 활용하여 사전학습된 언어 모델에 Unified Medical Language System 지식을 주입하는 효율적인 접근법을 조사하고, 지식 그래프에서 모든 의미를 사용할 필요가 있는지에 의문을 제기한다. 본 연구는 지식 그래프를 분할하고, 보다 효율적인 사전학습을 위해 일부를 폐기하거나 병합하는 전략에 초점을 둔다. 세 개의 생의학 질의응답 파인튜닝 데이터셋에 대한 결과에 따르면, 의미적으로 분할된 그룹에 대해 사전학습된 어댑터는 평가 지표, 필요한 파라미터 수, 시간 측면에서 더 효율적인 성능을 보였다. 또한 결과는 개념 수가 더 적은 그룹을 폐기하는 것이 소규모 데이터셋에 더 나은 방향이며, 이러한 그룹을 병합하는 것이 대규모 데이터셋에 더 적합하다는 점을 보여준다. 더 나아가 지표 결과는 약간의 개선을 나타내어, 어댑터 방법론이 그룹 구성 방식에 대해 비교적 둔감함을 시사한다.

배경: 의료 용어에 대한 클라우드 기반 음성 인식(SR) 오픈 애플리케이션 프로그래밍 인터페이스(API)의 정확도에 관한 데이터는 제한적이다. 본 연구는 한국어에서 현재 사용 가능한 클라우드 기반 SR 오픈 API의 의료 용어 인식 정확도를 평가하고자 하였다. 방법: 한국의 대형 3차 의료기관 외래 진료에서 수집한 실제 의사–환자 간 대화 녹음 자료를 사용하여, 현재 사용 가능한 클라우드 기반 SR 오픈 API의 SR 정확도를 분석하였다. 원래 전사와 SR 전사를 각각에 대해 분석하여, 각 클라우드 기반 SR 오픈 API의 정확도 비율(즉, SR 전사에 포함된 의료 용어 수를 원래 전사에 포함된 의료 용어 수로 나눈 값)을 산출하였다. 결과: 총 112개의 의사–환자 대화 녹음이 세 가지 클라우드 기반 SR 오픈 API(Naver Corporation의 Naver Clova SR, Alphabet Inc.의 Google Speech-to-Text, Amazon의 Amazon Transcribe)로 변환되었으며, 각 전사를 비교하였다. Naver Clova SR(75.1%)은 다른 오픈 API에 비해 의료 용어 인식에서 가장 높은 정확도를 보였고( Google Speech-to-Text, 50.9%, P < 0.001; Amazon Transcribe, 57.9%, P < 0.001), Amazon Transcribe는 Google Speech-to-Text에 비해 더 높은 인식 정확도를 보였다(P < 0.001). 하위 분석에서 Naver Clova SR은 단어 품사 전 영역에서 가장 높은 정확도를 보였으나, 5자 초과 단어의 정확도는 통계적으로 유의한 차이가 없었다(Naver Clova SR, 52.6%; Google Speech-to-Text, 56.3%; Amazon Transcribe, 36.6%). 결론: 현재의 세 가지 클라우드 기반 SR 오픈 API 중 한국 기업이 제조한 Naver Clova SR이 Google Speech-to-Text 및 Amazon Transcribe에 비해 한국어 의료 용어 인식 정확도가 가장 높았다. 의료 용어 인식에는 제한이 존재하나, 각 SR 엔진의 강점을 결합함으로써 이 유망한 기술의 개선 여지가 상당히 크다.

목적: 생의학 분야에서 대규모 언어 모델(LLM)을 개발하려면 고품질의 학습 및 정렬(alignment) 튜닝 데이터셋에 대한 접근이 필요하다. 그러나 공개적으로 이용 가능한 한국어 의학 선호(preference) 데이터셋은 희소하여, 한국어 의학 LLM의 발전을 저해하고 있다. 본 연구는 자동화 파이프라인으로 구축되어 인간 주석의 높은 비용을 최소화한 정렬 튜닝 데이터셋인 한국어 의학 선호 데이터셋(Korean Medical Preference Dataset, KoMeP)을 구성하고 그 효능을 평가한다. 방법: KoMeP는 자동화된 환각(hallucination) 평가 지표인 DAHL 점수를 사용하여 생성되었다. 5개 LLM(Dolly-v2-3B, MPT-7B, GPT-4o, Qwen-2-7B, Llama-3-8B)이 8,573개의 생의학 검진(질문) 문제에 대한 응답을 생성하였고, 여기서 5,551개의 선호 쌍(preference pairs)을 추출하였다. 각 쌍은 DAHL 점수에 따라 결정된 “chosen” 응답과 “rejected” 응답으로 구성되었다. 데이터셋은 다섯 개의 서로 다른 모델에 대해 각각 두 가지 정렬 튜닝 방법인 직접 선호 최적화(direct preference optimization, DPO)와 오즈 비 선호 최적화(odds ratio preference optimization, ORPO)를 통해 학습했을 때의 성능을 평가하였다. 정렬 튜닝의 효과를 평가하기 위해 KorMedMCQA 벤치마크를 사용하였다. 결과: DPO로 학습된 모델들은 KorMedMCQA 성능이 일관되게 향상되었으며, 특히 Llama-3.1-8B는 43.96%의 증가를 보였다. 반면 ORPO 학습은 일관되지 않은 결과를 나타냈다. 또한 영어-한국어 전이 학습은 Gemma-2와 같이 영어 중심 모델에서 특히 효과적이었던 반면, 한국어-영어 전이 학습은 제한적인 성공에 그쳤다. KoMeP를 이용한 지시(instruction) 튜닝은 혼재된 결과를 보였는데, 이는 데이터셋 포맷팅의 어려움을 시사한다. 결론: KoMeP는 최초의 공개 한국어 의학 선호 데이터셋이며 LLM의 정렬 튜닝 성능을 유의미하게 향상시킨다. DPO 방법은 정렬 튜닝에서 ORPO보다 우수하다. 향후 연구는 KoMeP의 확장, 한국어 고유(native) 데이터셋 개발, 그리고 더 안전하고 신뢰할 수 있는 한국어 의학 LLM을 산출하기 위한 정렬 튜닝 방법의 개선에 초점을 맞추어야 한다.

이 연구는 최소한의 계산 자원으로 의료 도메인을 효과적으로 학습함으로써 RRG를 향상시키도록 설계된 모델인 RRG-LLM을 제안한다. 먼저, LLM을 LoRA로 미세조정하여 의료 도메인에 대한 효율적인 적응을 가능하게 한다. 이후에는 방사선 영상에서 중요한 정보를 추출하여 이를 텍스트 차원으로 투영하기 위해 이미지를 텍스트로 투영하는 선형 투영(프로젝션) 레이어만을 미세조정한다. 제안된 모델은 보고서 생성에서 주목할 만한 성능 향상을 보였다. ROUGE-L은 기준 모델에 비해 0.096 (51.7%) 향상되었고, METEOR는 0.046 (42.85%) 향상되었다.

의료 현장에서(특히 임상 기록) 증가하는 문서 작성 업무 부담은 AI 기반 솔루션의 개발을 촉진해 왔다. 본 연구는 외래 경과기록(progress notes)의 초안을 생성하는 AI Doctor Assistant(DA)를 소개한다. DA는 두 가지 주요 과제, 즉 경과기록의 수술(처치) 요약 섹션과 임상 소견(clinical findings) 섹션을 생성하는 데 초점을 둔다. 본 연구는 네 가지 의학 전문 분야의 데이터셋을 사용하여, 각 교수(professor)별로 개별 미세조정된 모델의 성능을 모든 교수의 데이터로 학습한 범용(general) 모델의 성능과 비교한다. 개별 모델과 범용 모델을 비교한 실험 결과, 범용 모델의 성능은 과제 유형에 따라 달라지는 것으로 나타났다. 이러한 결과는 AI DA가 문서 작성 부담을 줄이고 다양한 임상 시나리오 전반에 걸친 범용 능력을 향상시킬 잠재력이 있음을 시사한다.

대규모 언어모델(large language models, LLMs)의 사용은 널리 확산되고 있으며 수많은 분야에서 활발히 확대되고 있다. 의학 분야 역시 예외가 아니며, 다양한 유형의 LLM이 도입되어 인상적인 결과를 보여주었다. 현재의 연구 범위는 미국 의사면허시험(United States Medical Licensing Examination)을 통과할 수 있는 모델부터 복잡한 의학 문서를 요약하도록 설계된 시스템에 이르기까지 다양하다. 이러한 급속한 발전에 발맞추기 위해, 한국의료정보학회(Korean Society of Medical Informatics, KOSMI)는 의료 분야에서 LLM을 활용하는 방안에 관한 정보를 확산하고 혁신적이며 영향력 있는 연구 아이디어의 발전을 촉진하기 위한 특별호 「LLMs in Medicine」을 기획하였다. 본 특별호를 위해 다음의 초청 편집자들을 모실 수 있게 되어 영광이다: 김남국(울산대학교, Korea), 에드워드 최(KAIST, Korea), 윤덕용(연세대학교, Korea). 이들의 적극적인 참여와 헌신적인 노력은 본 특별호의 결실을 이루는 데 결정적인 역할을 하였다. 이 특별호의 준비 과정은 그들의 소중한 통찰과 노력이 없었다면 매우 어려웠을 것이다. 그들에게 진심으로 깊은 감사를 전한다.