RnDCircle Logo
신유현 연구실
고려대학교 언어학과
신유현 교수
기본 정보
연구 분야
프로젝트
발행물
구성원

신유현 연구실

고려대학교 언어학과 신유현 교수

신유현 연구실은 한국어 자연어처리를 중심으로 전이학습 기반 언어모델, 문서 요약, 시퀀스 라벨링, 슬롯 필링, 데이터 증강, 키워드 생성 및 거대 언어모델 프롬프팅 최적화 등을 연구하며, 저자원 환경에서도 높은 성능을 낼 수 있는 한국어 특화 인공지능 기술과 실제 응용 가능한 자연어 이해·생성 방법론을 개발하고 있다.

대표 연구 분야
연구 영역 전체보기
한국어 자연어처리와 전이학습 기반 언어모델 thumbnail
한국어 자연어처리와 전이학습 기반 언어모델
주요 논문
3
논문 전체보기
1
article
|
gold
·
인용수 0
·
2026
Diversified Prompting Strategy for Improving Slot Filling With Large Language Models
Mirr Shin, Youhyun Shin
IF 3.6
IEEE Access
We propose a diversified prompting strategy to address the challenges of slot filling with Large Language Models (LLMs), where recall often suffers from prediction omissions and precision declines due to duplicate or excessive slot assignments. Our strategy combines sub-prompt, which partitions candidate slots into smaller groups to improve recall, and multi-view prompt, which applies diverse structural prompt variations to the same utterance. Final slot predictions are selected through threshold-based majority voting, effectively balancing recall and precision. Experiments on three benchmark datasets (SNIPS, MASSIVE, and MultiWoz) with six LLMs (bloomz, falcon, llama2, llama3, qwen2, and gemma) show consistent improvements when compared with the baseline and all single-prompt methods. For example, on SNIPS, llama3-8B improves recall from 78.4 to 90.5 and F1 from 72.6 to 82.0. Additionally, we conducted experiments across various model sizes to confirm the general applicability of our methodology. These results demonstrate that the proposed diversified prompting strategy effectively restores balance among recall, precision, and F1, offering a scalable methodology for enhancing LLM-based slot filling.
https://doi.org/10.1109/access.2025.3650469
Benchmark (surveying)
Baseline (sea)
Scalability
Recall
Language model
Precision and recall
2
article
|
gold
·
인용수 19
·
2023
Multi-Encoder Transformer for Korean Abstractive Text Summarization
Youhyun Shin
IF 3.6
IEEE Access
In this paper, we propose a Korean abstractive text summarization approach that uses a multi -encoder transformer. Recently, in many natural language processing (NLP) tasks, the use of the pre-trained language models (PLMs) for transfer learning has achieved remarkable performance. In particular, transformer-based models such as Bidirectional Encoder Representations from Transformers (BERT) are used for pre-training and applied to downstream tasks, showing state-of-the-art performance including abstractive text summarization. However, existing text summarization models usually use one pre-trained model per model architecture, meaning that it becomes necessary to choose one PLM at a time. For PLMs applicable to Korean abstractive text summarization, there are publicly available BERT-based pre-trained Korean models that offer different advantages such as Multilingual BERT, KoBERT, HanBERT, and KorBERT. We assume that if these PLMs could be leveraged simultaneously, better performance would be obtained. We propose a model that uses multiple encoders which are capable of leveraging multiple pre-trained models to create an abstractive summary. We evaluate our method using three benchmark Korean abstractive summarization datasets, each named Law (AI-Hub), News (AI-Hub), and News (NIKL) datasets. Experimental results show that the proposed multi-encoder model variations outperform single -encoder models. We find the empirically best summarization model by determining the optimal input combination when leveraging multiple PLMs with the multi-encoder method.
https://doi.org/10.1109/access.2023.3277754
Automatic summarization
Computer science
Encoder
Transformer
Artificial intelligence
Natural language processing
Language model
Benchmark (surveying)
Machine learning
3
article
|
gold
·
인용수 8
·
2022
Text Processing Education Using a Block-Based Programming Language
Youngki Park, Youhyun Shin
IF 3.6
IEEE Access
In this paper, we present a novel approach to teach text processing for primary and secondary school students using a block-based programming language such as Scratch. Our main idea is to have students (1) build “basic building blocks” for text processing, and then (2) use them to create our example text processing applications. Here, we slightly modified Scratch to make it easy for students to create these basic building blocks. Also, because our example applications are built on the Data & Analysis subconcepts (Storage, Collection, Visualization, Transformation, and Inference & Models) of ACM CSTA K-12 Computer Science Standards, students can achieve these standards as well as an understanding of text processing by implementing them. We conducted two lectures using our approach for primary/secondary school teachers, and the teachers who responded to our survey gave high scores on average for most of the evaluation measures. We also conducted an in-depth analysis of the survey results, including comparison with other survey results in similar groups.
https://doi.org/10.1109/access.2022.3227765
Scratch
Computer science
Block (permutation group theory)
Visualization
Transformation (genetics)
Inference
Mathematics education
Multimedia
Programming language
Artificial intelligence
정부 과제
4
과제 전체보기
1
2024년 4월-2026년 4월
|119,725,000
거대 언어 모델의 창발적 능력을 활용한 제로샷 및 퓨샷 기반의 정확한 키워드 생성 방법 연구
본 연구의 목표는 거대 언어 모델(LLM)의 'zero-shot' 및 'few-shot learning'에 강인한 창발적 능력(Emergent Abilities of LLMs)을 활용하여, 키워드 생성의 정확도를 향상시키는 연구를 진행하는 것입니다.
거대 언어 모델
키워드 생성
제로샷 프롬프팅
퓨샷 프롬프팅
인컨텍스트 러닝
2
주관|
2021년 6월-2021년 12월
|237,500,000
자연어 이해에 기반한 자동 수학 문제 풀이 생성 연구
자연어 이해에 기반하여 수학 문제 풀이를 효과적으로 자동 생성하는 것을 목표로 함. 이를 위해 아래 그림과 같은 3단계 연구 방법을 제시함 첫 번째 단계는 초등 수학에 특화된 학습 데이터를 생성하는 단계로, 초등 교사, 예비 교사 등 교육 전문가를 활용하여 체계적이고 효과적인 학습 데이터를 생성함. 또, 자연어 이해 정도를 객관적으로 평가할 수 있는 테스트 데이터셋을 구축함. 첫 번째 단계에서 생성된 학습 데이터는 사람이 직접 만든 데이터이기 때문에, 학습을 하기에는 여전히 그 수가 부족할 수밖에 없음. 이 문제를 해결하기 위해 두 번째 단계에서는 자동으로 학습 데이터를 증대시킬 수 있는 기술을 개발함. 구체적으로, (1) 학습 데이터 증대를 위해 동일한 문제를 자연어 처리를 통해 다르게 표현하는 기술을 개발하고, (2) 한국어의 특성에 기반하여 학습 데이터를 효과적으로 증대시킬 수 있는 기술을 연구 개발함. 또, (3) 학습 데이터의 수가 적더라도 데이터 부족 문제를 완화할 수 있는 기술을 연구 개발함. 세 번째 단계에서는 자연어 이해 기술을 개발함. 제시될 수 있는 수학 문제의 유형을 정의하고, 자연어의 맥락을 이용하여 주어진 문제의 세부 유형을 정확히 파악하는 인공지능 모델 개발을 연구함. 또, 실용적인 모델 개발을 위해 제한된 GPU 자원을 활용하여 빠른 시간 내 수학 문제의 답을 계산해낼 수 있는 기술을 연구 개발함. 마지막으로, 학습된 인공지능 모델을 활용하여 수학 문제의 정확한 답을 도출해 내기 위한 휴리스틱 기술을 개발 및 연구함.
수학 문제
인공지능
자연어 이해
자연어 처리
초등 수학
3
주관|
2021년 2월-2024년 2월
|31,476,000
전이학습을 활용한 범용 한국어 자연어 처리 딥러닝 모델 연구
본 연구는 한국어 '선수학습' 모델을 학습하고, 이후 개체명 인식, 기계 독해, 요약과 같은 '다운스트림 태스크'에 모델을 전이하는 방식으로 학습을 진행합니다. 연구내용은 크게 두 가지입니다. 1) 태스크마다 존재했던 독립적인 자연어 처리 모델들을 하나의 범용 모델로 학습 및 추론하는 것이며, 2) 학습용 언어 자원이 적은 한국어에 적용하기 위해 전이학습을 활용하여 선수학습 후 파인-튜닝 기법을 통해 적은 학습 데이터 문제를 해결하고자 하는 것입니다. 본 연구의 연차별 연구 계획은 다음과 같습니다. [1차년도]에는 대용량 텍스트를 활용하여 자가 학습하는 선수학습 언어 모델 연구를 집중적으로 진행합니다. 언어 모델 학습을 위해 한국어에 가장 적절한 토크나이제이션(tokenization)과 다양한 마스킹 전략에 대한 연구가 집중적으로 이루어집니다. [2차년도]에는 적은 리소스의 지도 학습 데이터를 활용한 자연어 처리 파인-튜닝 방법 개발이 이루어집니다. 각 다운스트림 태스크를 고려하여 아키텍처를 확장하는 방법에 관한 연구가 집중적으로 이루어질 것입니다. 다양한 한국어 자연어 처리 문제 중 대표적으로 자연어 생성에서는 언어 모델과 요약, 자연어 이해에서는 기계 독해와 감성 분석, 자연어 태깅에서는 개체명 인식과 의미역 결정과 같은 다운스트림 태스크에 대한 파인-튜닝을 목표로 하고 있으며 대상 다운스트림 태스크는 추후 확장될 수 있습니다. [3차년도]에는 선수학습 및 파인-튜닝 방법을 활용한 범용적 자연어 처리 단일 모델 고도화를 진행합니다. 선수학습 모델을 다운스트림 태스크에 적용했을 때 피드백을 반영하여 선수학습 모델과 파인튜닝 방법을 고도화할 것이며, 고도화된 선수학습 언어 모델을 TPU로 학습하여 연구를 마무리 할 것입니다. 총 3차년에 걸친 연구를 통해 자연어 생성, 자연어 이해와 태깅과 같은 자연어 처리의 여러 문제에 범용적으로 사용될 수 있는 모델의 가능성을 제안 및 검증할 것이며, 지도/비지도 학습 데이터가 부족한 한국어 자연어 처리의 한계를 극복하기 위해 전이학습을 통해 극복하는 가능성에 대해 연구합니다.
자연어 처리
전이학습
선수학습
언어모델
한국어 처리
인공지능
딥러닝