다운스트림 작업을 위한 다양한 기반(pretrained fundamental bases)으로서 파운데이션 모델은 미세조정(fine-tuning) 또는 심지어 제로샷(zero-shot) 방식만으로도 특정 응용에 빠르게 적용될 수 있는, 다재다능하고 풍부하며 일반화 가능한 표현을 학습하고자 한다. 분자 표현을 위한 파운데이션 모델 역시 예외가 아니다. 분자 표현의 사전학습을 위해 다양한 자기지도(pretext) 과제가 제안되어 왔지만, 이러한 접근은 단일 또는 일부 특성에만 초점을 맞추는 경향이 있었다. 분자는 복잡하며 목적에 따라 서로 다른 관점이 필요하다. 즉, 국소 또는 전역 수준의 통찰, 2D 토폴로지 또는 3D 공간 배치, 그리고 저수준 또는 고수준 의미론에 대한 관점이 요구된다. 우리는 이러한 분자의 여러 측면을 동시에 고려하는 다층(multi-level) 분자 그래프 사전학습(Multi-level mOlecule gRaph prE-train, MORE)을 제안한다. 실험 결과는 선형 프로빙(linear probing)과 전체 미세조정(full fine-tuning) 모두에서 우수한 성능을 보임으로써, 제안한 방법이 포괄적인 표현을 효과적으로 학습함을 입증한다. 특히, 사전학습된 모델의 망각(forgetting)을 정량화한 실험에서 MORE는 다른 방법들과 달리 일관되게 최소하고 안정적인 매개변수 변화와 더 작은 성능 격차를 보이며, 반면 다른 방법들은 더 큰 격차와 함께 실질적이면서도 일관되지 않은 변동을 보인다. 개별 자기지도 과제의 효과는 해결하는 문제에 따라 달라지며, 이는 다시 한 번 다층적 관점의 필요성을 강조한다. 확장성(scalability) 실험에서는 데이터셋 크기가 증가할수록 MORE가 꾸준히 향상되는 것으로 나타나, 더 큰 데이터셋에서도 잠재적인 이득이 있을 수 있음을 시사한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.