가. 1차년도 연구 내용 - 연구 내용: 1차년도에는 현재 난립하고 있는 언어 모델 기반 문장 표현 학습법에 대한 선행 연구를 체계적으로 정리하고 이를 정량적으로 비교할 수 있는 프레임워크를 구축하고자 한다. 앞서 언급한 바와 같이, 현재 제안되고 있는 선행 연구들이 동시대에 우후죽순과 같이 발표된 관계로 이들의 우수성을 정량적으로 비교할 수 있는 베이스라인과 데이터셋이 정립되어 있지 않은 상황이며, 따라서 하나의 체계화된 프레임워크 내에서 이들의 다양한 측면에서의 장단점을 비교 및 분석할 수 있는 장을 만들고자 한다. 또한, 프롬프트와 어댑터와 같은 효율적인 언어 모델 활용법은 아직 문장 표현 학습에는 적용 가능 여부가 알려지지 않은 상황이므로 이들의 적용 가능성을 선제적으로 실험하고 대조학습과 같은 기존의 문장 표현 학습 방법론과 결합 가능성 여부 또한 연구하고자 한다. - 연구 목표: 비SCI 또는 국제학술대회 논문 1편과 국내학술대회 논문 1편. - 연구 범위: 영어 모델 기반 문장 표현 학습 모델 연구로 한정한다. 주된 이유는 현행 연구들이 대부분 영어를 대상으로 하고 있기 때문에 이를 종합하여 현황을 파악하는데 중점을 두고자 한다. - 평가 착안점: 1. 선행 연구의 성능을 정량적인 관점에서 체계적으로 비교할 수 있는 프레임워크 구축에 성공하였는가? 2. 대조학습과 프롬프트/어탭터 방법론의 결합 가능성을 제대로 파악할 수 있는가? 3. 제시한 정량적/정성적 연구 목표를 달성하였는가? 나. 2차년도 연구 내용 - 연구 내용: 2차년도에는 1차년도에서 정리한 체계적인 기반 지식을 바탕으로 보다 진일보된 언어 모델 기반 문장 표현 학습론 개발에 중점을 둔다. 구체적으로, 기존의 특정 태스크 및 대조학습에 의존한 문장 표현 학습 방법론은 지도 학습 혹은 비지도 학습 중 하나의 패러다임만을 선택하여 학습을 진행하고 있다. 본 연구에서는 이러한 서로 다른 두 패러다임을 결합하여 더욱 뛰어난 성능의 문장 표현 학습이 가능하도록 개선하고자 한다. 또한 이러한 접근법들은 모두 언어 모델을 완전히 수정하는 방식에 의존하고 있는 형국이므로 프롬프트/어댑터와 방식의 아이디어를 차용하여 언어 모델은 고정한 채로 필요한 양 만큼의 추가적인 파라미터를 도입하는 부분 학습 (partial training) 방식을 채택하여 보다 효율적인 문장 표현 학습이 가능하도록 하는 방법론을 개발하고자 한다. 마지막으로, 현재 영어 데이터 및 언어 모델에 중점적으로 집중하여 연구되고 있는 문장 표현 학습 연구에 대하여 다국어 언어 모델 및 번역 모델 학습에 활용되는 데이터를 추가로 도입하여 문장 표현의 성능 향상 및 적용 범위 확대를 동시에 도모하고자 한다. 예를 들어, 현재 대조학습을 이용한 문장 표현 학습을 위해서는 유사한 의미를 지니는 두 문장의 쌍에 대한 데이터가 필수적인데 연구 범위를 다국어 환경으로 확장하면 이와 같은 쌍 데이터를 확보하는데 있어 번역 데이터 등을 활용할 수 있을 것으로 기대된다. - 연구 목표: 최우수 국제학술대회 (또는 SCI급 학술지) 논문 1편 및 국내학술대회 논문 1편 - 연구 범위: 영어 모델뿐만 아니라 한국어 및 다국어 모델 기반 문장 표현 학습 모델 연구로 확장 - 평가 착안점: 1. 기존 언어 모델 기반 문장 표현 학습론보다 성능 및 효율성 측면에서 개선된 방법론을 개발하였는가? 2. 기존 영어 기반 연구 일변도를 탈피하여 한국어 혹은 다국어 환경에서 개발한 문장 표현 학습법을 성공적으로 적용하였는가? 3. 제시한 정량적/정성적 연구 목표를 달성하였는가?