분자 표현 학습은 약물 발견 및 분자 물성 예측에서 주요 관심 분야이다. 선행 연구들에서는 분자를 그래프로 모델링하여, 그래프 신경망(GNNs)이 핵심적인 구조 정보를 포착할 수 있도록 하였다. 최근의 접근법들은 노드에서 서브그래프로 과립도(granularity)를 확장하는 것, 마스킹 위치를 전환하는 것, 하위 과제(downstream)에서 마스킹을 적용하는 것과 같은 고도화된 마스킹 전략을 도입함으로써 분자 표현을 개선하였다. 그러나 이러한 전략들에 대한 포괄적인 분석은 여전히 제한적이다. 본 연구에서는 다양한 단계, 과립도, 위치, 특징 유형, 비율 전반에 걸쳐 마스킹 기법을 체계적으로 평가한다. 연구 결과, 사전 학습(pre-training) 동안의 노드 특징(feature) 마스킹이 높은 성능을 달성하는 반면, 풍부한 특징은 이득을 감소시킬 수 있으며, 널리 사용되는 25% 마스킹 비율은 모든 데이터셋에서 보편적으로 최적이 아니고 데이터셋에 따라 다른 비율이 더 나은 성능을 보였다. 본 연구는 분자 그래프에서 마스킹 기법의 이점에 대한 더 깊은 통찰을 제공하며, 그래프 기반 학습에서 의미 이해(semantic understanding)와 예측 정확도를 향상시킬 잠재성을 강조한다.

간질(epilepsy)은 반복적인 발작을 특징으로 하는 신경학적 질환으로, 환자의 안전과 삶의 질을 위해 조기 예측이 매우 중요하다. 전통적인 탐지 방법은 주로 EEG 신호로부터의 시간-주파수(time-frequency) 정보를 기반으로 한다. 그러나 EEG 신호는 상호 연결되어 있으며 비정상적 활동이 뇌의 여러 영역에 걸쳐 확산되므로, 그 연결성(connectivity)을 이해하는 것이 필수적이다. 본 연구는 EEG 연결성에 기반한 지도(supervision)를 결합하여 대조학습(contrastive learning)을 수행하는 새로운 표현 학습 방법인 CoCL을 제안한다. CoCL은 사전학습(pretraining) 시 적용하고 이를 발작 탐지(seizure detection)에 전이(transfer)했을 때, 최신 방법들보다 우수한 성능을 보이며 6개의 EEG 채널만으로도 높은 정확도를 유지함으로써 다수의 전극이 필요하던 요구를 줄인다.

다운스트림 작업을 위한 다양한 기반(pretrained fundamental bases)으로서 파운데이션 모델은 미세조정(fine-tuning) 또는 심지어 제로샷(zero-shot) 방식만으로도 특정 응용에 빠르게 적용될 수 있는, 다재다능하고 풍부하며 일반화 가능한 표현을 학습하고자 한다. 분자 표현을 위한 파운데이션 모델 역시 예외가 아니다. 분자 표현의 사전학습을 위해 다양한 자기지도(pretext) 과제가 제안되어 왔지만, 이러한 접근은 단일 또는 일부 특성에만 초점을 맞추는 경향이 있었다. 분자는 복잡하며 목적에 따라 서로 다른 관점이 필요하다. 즉, 국소 또는 전역 수준의 통찰, 2D 토폴로지 또는 3D 공간 배치, 그리고 저수준 또는 고수준 의미론에 대한 관점이 요구된다. 우리는 이러한 분자의 여러 측면을 동시에 고려하는 다층(multi-level) 분자 그래프 사전학습(Multi-level mOlecule gRaph prE-train, MORE)을 제안한다. 실험 결과는 선형 프로빙(linear probing)과 전체 미세조정(full fine-tuning) 모두에서 우수한 성능을 보임으로써, 제안한 방법이 포괄적인 표현을 효과적으로 학습함을 입증한다. 특히, 사전학습된 모델의 망각(forgetting)을 정량화한 실험에서 MORE는 다른 방법들과 달리 일관되게 최소하고 안정적인 매개변수 변화와 더 작은 성능 격차를 보이며, 반면 다른 방법들은 더 큰 격차와 함께 실질적이면서도 일관되지 않은 변동을 보인다. 개별 자기지도 과제의 효과는 해결하는 문제에 따라 달라지며, 이는 다시 한 번 다층적 관점의 필요성을 강조한다. 확장성(scalability) 실험에서는 데이터셋 크기가 증가할수록 MORE가 꾸준히 향상되는 것으로 나타나, 더 큰 데이터셋에서도 잠재적인 이득이 있을 수 있음을 시사한다.

단일벽 탄소 나노튜브(SWCNTs)는 생의학 및 나노전자공학 분야에서의 잠재력으로 인해 상당한 관심을 받아왔다. 단일가닥 DNA(ssDNA)로 SWCNT를 기능화하면 SWCNT의 정렬을 정밀하게 제어할 수 있으며, 광학 및 전자 바이오센서의 개발로 이어진다. 본 연구는 방대한 무작위 라이브러리에서 고결합 친화도를 갖는 ssDNA 서열을 농축하기 위해 고처리량의 체계적 선별을 적용함으로써 해당 분야의 현재 공백을 다룬다. ssDNA와 SWCNT 사이의 결합 친화도에 관여하는 특정 염기 조성 및 패턴이 확인되었다. 분자 동역학 시뮬레이션은 SWCNT 상에서의 ssDNA 구조의 안정성을 검증하고, 이 상호작용에서 수소 결합이 핵심적 역할을 한다는 점을 밝혀냈다. 또한 기계 학습을 통해 고결합 친화도를 갖는 ssDNA 서열을 정확하게 구별할 수 있으며, 전용 웹페이지(http://service.k-medai.com/ssdna4cnt)에서 접근 가능한 모델을 제공함을 보여주었다. 이러한 결과는 다양한 과학 분야에 걸친 안정적이고 민감한 분자 검출을 위한 고결합 친화도 ssDNA–SWCNT 구성체에 대한 새로운 연구 방향을 열어준다.

동기: 비지도사전학습(self-supervised learning, SSL)은 데이터에 내재된 감독 신호를 활용하여 데이터 표현을 학습하는 방법이다. 이러한 학습 방법은 약물 분야에서 주목받고 있는데, 시간 소요가 크고 비용이 많이 드는 실험으로 인해 주석이 달린 데이터가 부족하기 때문이다. 막대한 규모의 라벨 없는 데이터를 활용한 SSL은 분자 특성 예측에서 우수한 성능을 보였으나, 몇 가지 문제가 존재한다. (i) 기존의 SSL 모델은 대규모이며, 계산 자원이 충분하지 않은 환경에서 SSL을 구현하는 데 한계가 있다. (ii) 대부분의 경우 분자 표현 학습에 3차원 구조 정보를 활용하지 않는다. 약물의 활성은 해당 약물 분자의 구조와 밀접한 관련이 있다. 그럼에도 불구하고 현재의 대부분 모델은 3차원 정보를 사용하지 않거나 부분적으로만 사용한다. (iii) 분자에 대해 대조학습(contrastive learning)을 적용하는 선행 모델들은 원자와 결합을 순열(permuting)하는 데이터 증강을 사용한다. 따라서 서로 다른 특성을 가진 분자들이 동일한 양성 샘플(positive samples)에 포함될 수 있다. 우리는 위의 문제를 해결하기 위해 분자 특성 예측을 위한 소규모 3차원 그래프 대조학습(small-scale 3D Graph Contrastive Learning, 3DGCL)이라는 새로운 대조학습 프레임워크를 제안한다. 결과: 3DGCL은 약물의 의미(semantic)를 변화시키지 않는 사전학습 과정(pretraining)을 통해 분자의 구조를 반영함으로써 분자 표현을 학습한다. 사전학습 데이터로 1128개 샘플만 사용하고, 모델 파라미터는 50만(0.5 million) 개만 사용하여, 6개의 벤치마크 데이터셋에서 최첨단 성능 또는 이에 준하는 성능을 달성하였다. 광범위한 실험을 통해, 화학 지식에 기반한 3차원 구조 정보가 특성 예측을 위한 분자 표현 학습에 필수적임을 확인하였다. 이용 가능성 및 구현: 데이터와 코드는 https://github.com/moonkisung/3DGCL 에서 제공된다.

배경: 기증자 가용성이 제한된 지역에서는 폐이식 의사결정에서 효율성을 최적화하는 것이 중요하다. 1년 이식편 실패의 수술 전 예측은 후보자 선별과 임상 의사결정의 질을 높일 수 있다. 방법: 우리는 한국 장기이식 레지스트리 데이터를 활용하여 폐이식 후 1년 이식편 실패를 예측하기 위한 딥러닝 기반 모델을 개발하고 검증하였다. 총 240건을 5-fold 교차검증으로 분석하였다. 1년 이식편 실패와 관련된 25개의 수술 전 요인 중에서, 모델 개발을 위해 계수가 ≥ 0.25인 상위 9개 변수를 선택하였다. 결과: 240명의 폐이식 수혜자 중 55명(22.92%)이 1년 이내에 이식편 실패를 경험하였고, 185명은 생존하였다. 최종 예측 모델은 이식 전 핵심 9가지 요인을 포함하였는데, 구체적으로는 연령, 조혈모세포 이식 후 기관지세기관지염 폐쇄성 증후군, 이식 전 세균혈증, 기관지확장증, 크레아티닌, 당뇨병, 양성 human leukocyte antigen crossmatch, panel reactive antibody 1 peak mean fluorescence intensity, 이식 전 스테로이드 사용이 포함되었다. 다층 퍼셉트론 모델은 우수한 예측 성능을 보였으며, 곡선 아래 면적(area under the curve) 0.780과 정확도 0.733을 달성하였다. 결론: 본 기계학습 기반 모델은 최소한의 이식 전 변수 집합을 사용하여 폐이식 수혜자의 1년 이식편 실패를 효과적으로 예측한다. 임상 적용 가능성을 확인하기 위한 추가 검증이 필요하다.

심전도는 심장의 전기적 활동을 기록하여 심혈관 질환 진단에 널리 사용되는 비침습적 도구이다. 최근 심전도 분석에서 자기 지도 학습이 활발히 활용되고 있다. 심전도 표현을 사전 학습할 때는 시간적 변화와 패턴 포착은 물론, 리드의 영향을 최소화하는 방식도 고려할 필요가 있다. 본 논문에서는 이를 반영하여 Lead-masking(리드 마스킹)과 Re-ordering(순서 재구성) 두 가지의 자기 지도 학습 방식을 제안한다. 벤치마크 데이터를 활용한 비교 분석 결과, Lead-masking의 단일 리드 실험에서의 우수한 표현 학습 능력을 확인하였다. 또한, 시간적 순서 학습에 대한 사전 학습의 긍정적인 효과를 실험을 통해 확인하였으며, 이는 사전 학습의 중요성을 강조한다.

배경: 패혈증 이후 허약(frailty)의 발달은 흔하고 중요한 문제이나, 이를 예측하기는 어렵다. 방법: 딥러닝을 위한 데이터는 2019년 9월부터 2021년 12월까지 대한민국에서 수행된 다기관 국가 단위의 전향적 관찰 코호트에서 패혈증 환자의 자료를 추출하였다. 주요 평가변수는 생존 퇴원 시의 허약으로, Clinical Frailty Scale에서 임상 허약 점수(clinical frailty score) ≥5로 정의하였다. 우리는 패혈증 인지 시 통상적으로 수집되는 10개 변수로부터, 패혈증 이후 허약을 예측하기 위한 딥러닝 모델을 개발하였다. 교차검증을 통해 4개의 전통적 기계학습 모델과 2개의 신경망 모델을 포함한 6개 모델을 학습하고 튜닝하였다. 또한 모형에서 각 예측변수의 중요도를 계산하였다. 이러한 모형들의 성능은 시간적 검증(temporal validation) 데이터셋을 사용하여 측정하였다. 결과: 분석에 총 8,518명의 환자가 포함되었으며, 5,463명(64.1%)은 허약이었고 3,055명(35.9%)은 비허약이었다. Extreme Gradient Boosting(XGB)은 수신자 조작 특성 곡선(receiver operating characteristic curve, ROC) 아래 면적(AUC) 0.8175와 정확도 0.7414로 가장 높은 성능을 보였다. 퇴원 시 허약을 예측하는 인공지능의 일반화 성능을 확인하기 위해, COVID-19 데이터셋을 이용한 외부 검증을 수행하였다. XGB는 AUC 0.7668로 여전히 양호한 성능을 보였다. 기계학습 모델은 자료 분포의 불일치(disparity)에도 불구하고 허약을 예측할 수 있었다. 결론: 패혈증 이후 허약을 예측하기 위해 개발된 기계학습 기반 모형은 제한된 기초 임상 매개변수만으로도 높은 성능을 달성하였다.

분자 특성 예측은 부족한 분자 데이터 레이블로 인해 어려움이 있다. 이를 극복하기 위해 자기지도학습을 활용하는데 레이블이 없는 데이터를 활용하여 모델을 사전학습 시킨다. 사전학습 모델은 다운 스트림 작업과 미세조정을 통해 다양한 작업에 적용된다. 그러나 분자 그래프에서 자기지도학습 모델은 몇 가지 이슈가 있다. 첫째 다운스트림 디코더가 표준화되지 않고 미세조정으로 사전학습 파라미터 조정이 되어 모델의 표현 능력을 공정하게 비교하기 어렵다. 둘째 사전학습 작업과 다운스트림 작업 간의 격차로 인해 사전학습 모델이 다운스트림 작업에서 유용한 표현을 생성하고 있는지에 대한 의문이 있다. 셋째 사전학습과 다운스트림의 데이터 셋이 달라 사전학습 모델이 다운스트림 작업에 있어 좋은 표현을 학습하는지에 대한 의문점이 있다. 이에 본 논문에서는 모델 간 공정한 비교 실험과 모델이 표현을 제대로 학습하였는지 확인하는 연구를 진행하였다. 실험 결과, 사전 학습된 모델과 사전 학습을 고정한 모델 간에는 성능 차이가 매우 컸다. 또한, 사전 학습된 모델과 사전 학습하지 않은 모델을 비교했을 때 비슷한 성능을 보였다. 이는 분자 그래프 자기 지도 학습 모델이 다운스트림 작업에 유용한 특징을 추출하지 못하는 것으로 보인다.

분자 표현 학습은 약물 발견 및 분자 물성 예측에서 주요 관심 분야이다. 선행 연구들에서는 분자를 그래프로 모델링하여, 그래프 신경망(GNNs)이 핵심적인 구조 정보를 포착할 수 있도록 하였다. 최근의 접근법들은 노드에서 서브그래프로 과립도(granularity)를 확장하는 것, 마스킹 위치를 전환하는 것, 하위 과제(downstream)에서 마스킹을 적용하는 것과 같은 고도화된 마스킹 전략을 도입함으로써 분자 표현을 개선하였다. 그러나 이러한 전략들에 대한 포괄적인 분석은 여전히 제한적이다. 본 연구에서는 다양한 단계, 과립도, 위치, 특징 유형, 비율 전반에 걸쳐 마스킹 기법을 체계적으로 평가한다. 연구 결과, 사전 학습(pre-training) 동안의 노드 특징(feature) 마스킹이 높은 성능을 달성하는 반면, 풍부한 특징은 이득을 감소시킬 수 있으며, 널리 사용되는 25% 마스킹 비율은 모든 데이터셋에서 보편적으로 최적이 아니고 데이터셋에 따라 다른 비율이 더 나은 성능을 보였다. 본 연구는 분자 그래프에서 마스킹 기법의 이점에 대한 더 깊은 통찰을 제공하며, 그래프 기반 학습에서 의미 이해(semantic understanding)와 예측 정확도를 향상시킬 잠재성을 강조한다.

간질(epilepsy)은 반복적인 발작을 특징으로 하는 신경학적 질환으로, 환자의 안전과 삶의 질을 위해 조기 예측이 매우 중요하다. 전통적인 탐지 방법은 주로 EEG 신호로부터의 시간-주파수(time-frequency) 정보를 기반으로 한다. 그러나 EEG 신호는 상호 연결되어 있으며 비정상적 활동이 뇌의 여러 영역에 걸쳐 확산되므로, 그 연결성(connectivity)을 이해하는 것이 필수적이다. 본 연구는 EEG 연결성에 기반한 지도(supervision)를 결합하여 대조학습(contrastive learning)을 수행하는 새로운 표현 학습 방법인 CoCL을 제안한다. CoCL은 사전학습(pretraining) 시 적용하고 이를 발작 탐지(seizure detection)에 전이(transfer)했을 때, 최신 방법들보다 우수한 성능을 보이며 6개의 EEG 채널만으로도 높은 정확도를 유지함으로써 다수의 전극이 필요하던 요구를 줄인다.

다운스트림 작업을 위한 다양한 기반(pretrained fundamental bases)으로서 파운데이션 모델은 미세조정(fine-tuning) 또는 심지어 제로샷(zero-shot) 방식만으로도 특정 응용에 빠르게 적용될 수 있는, 다재다능하고 풍부하며 일반화 가능한 표현을 학습하고자 한다. 분자 표현을 위한 파운데이션 모델 역시 예외가 아니다. 분자 표현의 사전학습을 위해 다양한 자기지도(pretext) 과제가 제안되어 왔지만, 이러한 접근은 단일 또는 일부 특성에만 초점을 맞추는 경향이 있었다. 분자는 복잡하며 목적에 따라 서로 다른 관점이 필요하다. 즉, 국소 또는 전역 수준의 통찰, 2D 토폴로지 또는 3D 공간 배치, 그리고 저수준 또는 고수준 의미론에 대한 관점이 요구된다. 우리는 이러한 분자의 여러 측면을 동시에 고려하는 다층(multi-level) 분자 그래프 사전학습(Multi-level mOlecule gRaph prE-train, MORE)을 제안한다. 실험 결과는 선형 프로빙(linear probing)과 전체 미세조정(full fine-tuning) 모두에서 우수한 성능을 보임으로써, 제안한 방법이 포괄적인 표현을 효과적으로 학습함을 입증한다. 특히, 사전학습된 모델의 망각(forgetting)을 정량화한 실험에서 MORE는 다른 방법들과 달리 일관되게 최소하고 안정적인 매개변수 변화와 더 작은 성능 격차를 보이며, 반면 다른 방법들은 더 큰 격차와 함께 실질적이면서도 일관되지 않은 변동을 보인다. 개별 자기지도 과제의 효과는 해결하는 문제에 따라 달라지며, 이는 다시 한 번 다층적 관점의 필요성을 강조한다. 확장성(scalability) 실험에서는 데이터셋 크기가 증가할수록 MORE가 꾸준히 향상되는 것으로 나타나, 더 큰 데이터셋에서도 잠재적인 이득이 있을 수 있음을 시사한다.

단일벽 탄소 나노튜브(SWCNTs)는 생의학 및 나노전자공학 분야에서의 잠재력으로 인해 상당한 관심을 받아왔다. 단일가닥 DNA(ssDNA)로 SWCNT를 기능화하면 SWCNT의 정렬을 정밀하게 제어할 수 있으며, 광학 및 전자 바이오센서의 개발로 이어진다. 본 연구는 방대한 무작위 라이브러리에서 고결합 친화도를 갖는 ssDNA 서열을 농축하기 위해 고처리량의 체계적 선별을 적용함으로써 해당 분야의 현재 공백을 다룬다. ssDNA와 SWCNT 사이의 결합 친화도에 관여하는 특정 염기 조성 및 패턴이 확인되었다. 분자 동역학 시뮬레이션은 SWCNT 상에서의 ssDNA 구조의 안정성을 검증하고, 이 상호작용에서 수소 결합이 핵심적 역할을 한다는 점을 밝혀냈다. 또한 기계 학습을 통해 고결합 친화도를 갖는 ssDNA 서열을 정확하게 구별할 수 있으며, 전용 웹페이지(http://service.k-medai.com/ssdna4cnt)에서 접근 가능한 모델을 제공함을 보여주었다. 이러한 결과는 다양한 과학 분야에 걸친 안정적이고 민감한 분자 검출을 위한 고결합 친화도 ssDNA–SWCNT 구성체에 대한 새로운 연구 방향을 열어준다.