본 연구는 한국어 '선수학습' 모델을 학습하고, 이후 개체명 인식, 기계 독해, 요약과 같은 '다운스트림 태스크'에 모델을 전이하는 방식으로 학습을 진행합니다. 연구내용은 크게 두 가지입니다. 1) 태스크마다 존재했던 독립적인 자연어 처리 모델들을 하나의 범용 모델로 학습 및 추론하는 것이며, 2) 학습용 언어 자원이 적은 한국어에 적용하기 위해 전이학습을 활용하여 선수학습 후 파인-튜닝 기법을 통해 적은 학습 데이터 문제를 해결하고자 하는 것입니다. 본 연구의 연차별 연구 계획은 다음과 같습니다. [1차년도]에는 대용량 텍스트를 활용하여 자가 학습하는 선수학습 언어 모델 연구를 집중적으로 진행합니다. 언어 모델 학습을 위해 한국어에 가장 적절한 토크나이제이션(tokenization)과 다양한 마스킹 전략에 대한 연구가 집중적으로 이루어집니다. [2차년도]에는 적은 리소스의 지도 학습 데이터를 활용한 자연어 처리 파인-튜닝 방법 개발이 이루어집니다. 각 다운스트림 태스크를 고려하여 아키텍처를 확장하는 방법에 관한 연구가 집중적으로 이루어질 것입니다. 다양한 한국어 자연어 처리 문제 중 대표적으로 자연어 생성에서는 언어 모델과 요약, 자연어 이해에서는 기계 독해와 감성 분석, 자연어 태깅에서는 개체명 인식과 의미역 결정과 같은 다운스트림 태스크에 대한 파인-튜닝을 목표로 하고 있으며 대상 다운스트림 태스크는 추후 확장될 수 있습니다. [3차년도]에는 선수학습 및 파인-튜닝 방법을 활용한 범용적 자연어 처리 단일 모델 고도화를 진행합니다. 선수학습 모델을 다운스트림 태스크에 적용했을 때 피드백을 반영하여 선수학습 모델과 파인튜닝 방법을 고도화할 것이며, 고도화된 선수학습 언어 모델을 TPU로 학습하여 연구를 마무리 할 것입니다. 총 3차년에 걸친 연구를 통해 자연어 생성, 자연어 이해와 태깅과 같은 자연어 처리의 여러 문제에 범용적으로 사용될 수 있는 모델의 가능성을 제안 및 검증할 것이며, 지도/비지도 학습 데이터가 부족한 한국어 자연어 처리의 한계를 극복하기 위해 전이학습을 통해 극복하는 가능성에 대해 연구합니다.