우리는 대규모 언어 모델(LLMs)을 이용한 슬롯 필링(slot filling)에서 발생하는 어려움을 해결하기 위해 분산된 프롬프트(diversified prompting) 전략을 제안한다. 이때 회상(recall)은 예측 누락(prediction omissions)으로 인해 저하되는 경우가 많고, 중복 또는 과도한 슬롯 할당으로 인해 정밀도(precision)도 감소한다. 우리의 전략은 회상을 향상시키기 위해 후보 슬롯을 더 작은 그룹으로 분할하는 하위 프롬프트(sub-prompt)와, 동일한 발화(utterance)에 대해 다양한 구조적 프롬프트 변형을 적용하는 멀티 뷰(multi-view) 프롬프트를 결합한다. 최종 슬롯 예측은 임계값 기반 다수결(threshold-based majority voting)로 선택되어 회상과 정밀도의 균형을 효과적으로 조정한다. SNIPS, MASSIVE, MultiWoz의 세 가지 벤치마크 데이터셋과 여섯 가지 LLM(bloomz, falcon, llama2, llama3, qwen2, gemma)에 대해 실험한 결과, 기준 모델(baseline) 및 모든 단일 프롬프트 방법과 비교하여 일관된 성능 향상이 나타났다. 예를 들어 SNIPS에서 llama3-8B는 회상을 78.4에서 90.5로, F1을 72.6에서 82.0으로 향상시켰다. 또한 다양한 모델 크기에 걸쳐 실험을 수행하여 본 방법론의 일반 적용 가능성을 확인하였다. 이러한 결과는 제안된 분산된 프롬프트 전략이 회상, 정밀도, F1 간의 균형을 효과적으로 회복하며, LLM 기반 슬롯 필링을 향상시키기 위한 확장 가능한 방법론을 제공함을 보여준다.

본 논문에서는 다중 인코더 트랜스포머를 사용하는 한국어 추상적 텍스트 요약(abstractive text summarization) 접근법을 제안한다. 최근 자연어 처리(NLP) 분야의 많은 과제에서 전이 학습을 위한 사전학습 언어 모델(PLMs: pre-trained language models)의 활용이 괄목할 만한 성능을 보였다. 특히 BERT(Bidirectional Encoder Representations from Transformers)와 같은 트랜스포머 기반 모델은 사전학습에 사용되며 하위 과제에 적용되어, 추상적 텍스트 요약을 포함하여 최신(state-of-the-art) 성능을 나타낸다. 그러나 기존의 텍스트 요약 모델은 보통 각 모델 아키텍처마다 하나의 사전학습 모델만 사용하는데, 이로 인해 한 번에 하나의 PLM을 선택해야 한다. 한국어 추상적 텍스트 요약에 적용 가능한 PLM으로는 Multilingual BERT, KoBERT, HanBERT, KorBERT 등 서로 다른 장점을 제공하는 공개된 BERT 기반 사전학습 한국어 모델들이 존재한다. 본 연구에서는 이러한 PLM들을 동시에 활용할 수 있다면 더 나은 성능을 얻을 수 있을 것이라 가정한다. 이에 따라 여러 사전학습 모델을 활용할 수 있는 다중 인코더를 사용하여 추상적 요약을 생성하는 모델을 제안한다. 본 방법은 한국어 추상적 요약을 위한 3개의 벤치마크 데이터셋인 Law(AI-Hub), News(AI-Hub), News(NIKL) 데이터셋을 사용하여 평가한다. 실험 결과, 제안한 다중 인코더 모델 변형들이 단일 인코더 모델보다 우수함을 보여준다. 또한 다중 인코더 방법으로 여러 PLM을 활용할 때 최적의 입력 조합을 결정하여 경험적으로 가장 우수한 요약 모델을 도출한다.

본 논문에서는 Scratch와 같은 블록 기반 프로그래밍 언어를 활용하여 초·중등학생에게 텍스트 처리(text processing)를 가르치기 위한 새로운 접근법을 제시한다. 우리의 핵심 아이디어는 학생들로 하여금 (1) 텍스트 처리를 위한 “기본 빌딩 블록(basic building blocks)”을 구축하게 한 다음, (2) 이를 활용하여 예시 텍스트 처리 응용을 만들게 하는 것이다. 이를 위해 우리는 학생들이 이러한 기본 빌딩 블록을 쉽게 만들 수 있도록 Scratch를 약간 수정하였다. 또한 본 예시 응용은 ACM CSTA K-12 컴퓨터 과학 표준의 Data & Analysis 하위 개념(저장(Storage), 컬렉션(Collection), 시각화(Visualization), 변환(Transformation), 추론 & 모델(Inference & Models))을 기반으로 구성되므로, 학생들은 이를 구현함으로써 해당 표준을 달성하는 동시에 텍스트 처리에 대한 이해를 얻을 수 있다. 우리는 본 접근법을 초·중등 교사를 대상으로 두 차례 강의하여 적용하였으며, 설문에 응답한 교사들은 대부분의 평가 항목에서 평균적으로 높은 점수를 부여하였다. 아울러 유사 집단에서의 다른 설문 결과와의 비교를 포함하여 설문 결과에 대한 심층 분석을 수행하였다.

Scratch는 가장 널리 사용되는 블록 기반 교육용 프로그래밍 언어이지만, 웹 스크래핑 기능을 제공하지 않기 때문에 학생들이 실생활 데이터에 기반하여 다양한 유형의 Scratch 프로그램을 만드는 것은 쉽지 않다. 본 논문에서는 웹 스크래핑을 위한 새로운 Scratch 블록을 제시한다. 이러한 블록을 사용하면 학생들은 CSS 선택자를 이용하여 웹 페이지의 HTML 요소들에 포함된 콘텐츠를 스크래핑할 수 있을 뿐만 아니라, XPaths, 마우스의 좌표, 입력 문자열, 키, 또는 단축키(hot keys) 등을 활용하여 여러 방식으로 키보드와 마우스를 자동화할 수 있다. 또한 키-값 쌍(key–value pairs) 형태로 스크래핑된 데이터를 손쉽게 저장하고 검색할 수 있도록 하는 파일 접근(file access) 블록도 제시한다. 우리는 총 15명의 초·중등학교(K-12) 교사를 대상으로 두 차례의 강의를 진행하여, 이들이 10개의 웹 스크래핑 예제 응용 프로그램을 만들 수 있도록 했다. 그 결과, 교사들을 대상으로 실시한 설문조사에서 제안된 웹 스크래핑 블록은 모든 평가 항목에서 높은 점수를 달성했다.

기존 블록 기반 기계학습 교육 환경은 대규모 데이터에 기반한 모델 학습을 지원하지 못한다는 단점이 있다. 이로 인해 어린 학생들이 기계학습 모델을 만들 때 대량의 데이터가 중요하다는 점을 학습하기가 어렵다. 본 논문에서는 블록 기반 프로그래밍 언어를 사용하여 학생들이 대규모 데이터에 기반한 기계학습 모델을 손쉽게 학습할 수 있는 새로운 프로그래밍 환경을 제시한다. 우리는 기존 기계학습 블록의 인터페이스를 재정의하고, 블록 기반 프로그래밍 언어에 적합한 효과적인 모델 학습 알고리즘을 개발하여 “즉시 학습”과 “대규모 학습”을 가능하게 한다. 이 환경을 기반으로 한 예시 교육 응용으로, 11,822개의 텍스트 데이터 인스턴스와 7,784개의 클래스로 학습된 이른바 “질문-응답 챗봇” 프로그램과, 4,431개의 이미지 데이터 인스턴스와 7개의 클래스로 학습된 “연예인 닮은꼴” 프로그램을 제시하였다. 실험 결과, 교사 및 예비교사는 이 환경에 대해 네 가지 평가 지표 모두에서 높은 점수를 부여하였다.

추가 미세조정 없이 bi-인코더가 분류 과제에서 미세조정된 BERT 모델과 견줄 만한 성능을 달성할 수 있을까? 이 질문에 답하기 위해, 우리는 미세조정의 필요 없이 bi-인코더를 활용한 텍스트 분류를 위한 단순하면서도 효과적인 접근법을 제시한다. 우리의 핵심 관찰은 최신 bi-인코더들이 서로 다른 데이터셋에 대해 상이한 성능을 보인다는 점이다. 따라서 제안하는 접근법은 여러 bi-인코더를 준비하고, 새로운 데이터셋이 주어졌을 때 데이터셋에 가장 적절한 것들을 선택하여 앙상블하는 방식으로 구성된다. 실험 결과, AG News, SMS Spam Collection, Stanford Sentiment Treebank v2, TREC Question Classification 데이터셋의 하위(subsets)에서의 텍스트 분류 과제에서 제안한 접근법은 미세조정된 BERT-Base, DistilBERT-Base, ALBERT-Base, RoBERTa-Base와 견줄 만한 성능을 달성함을 보였다. 예를 들어, 널리 알려진 bi-인코더 all-MiniLM-L12-v2를 추가 최적화 없이 사용했을 때 평균 정확도 77.84%를 기록하였다. 이는 제안된 적응적 선택 및 앙상블 기법을 적용함으로써 89.49%로 향상되었으며, RoBERTa-Base 모델과 결합한 경우 91.96%까지 추가로 상승하였다. 우리는 이 접근법이 미세조정 없이 사전학습 모델을 소규모 데이터셋에 적용하는 K-12 AI 프로그래밍 교육과 같은 분야에서 특히 유용할 것으로 기대한다.

논문 문장의 의미는 계층적인 구조를 가지며, 하위 카테고리 간에 데이터 불균형이 존재한다. 또한, 논문 문장의 의미는 논문 내에서의 위치와 밀접한 관련이 있다. 기존의 단일 수준 분류 방법은 주로 하위 카테고리만 고려하기 때문에 데이터 불균형으로 인한 분류 정확도 감소 문제가 발생한다. 이에 대응하여, 본 연구에서는 문장의 계층적 의미 분류를 효과적으로 수행하기 위한 계층적 표현 및 레이블 임베딩 방법을 제안한다. 더불어, 논문의 섹션명을 적극적으로 활용하여 논문 문장의 위치 정보를 표현한다. 실험을 통해 KISTI의 국내 논문 문장 의미 태깅 데이터셋에서 계층 정보와 위치 정보를 명시적으로 고려한 제안 방법이 F1 점수에서 우수한 성능을 보임을 확인했다.

우리는 대규모 언어 모델(LLMs)을 이용한 슬롯 필링(slot filling)에서 발생하는 어려움을 해결하기 위해 분산된 프롬프트(diversified prompting) 전략을 제안한다. 이때 회상(recall)은 예측 누락(prediction omissions)으로 인해 저하되는 경우가 많고, 중복 또는 과도한 슬롯 할당으로 인해 정밀도(precision)도 감소한다. 우리의 전략은 회상을 향상시키기 위해 후보 슬롯을 더 작은 그룹으로 분할하는 하위 프롬프트(sub-prompt)와, 동일한 발화(utterance)에 대해 다양한 구조적 프롬프트 변형을 적용하는 멀티 뷰(multi-view) 프롬프트를 결합한다. 최종 슬롯 예측은 임계값 기반 다수결(threshold-based majority voting)로 선택되어 회상과 정밀도의 균형을 효과적으로 조정한다. SNIPS, MASSIVE, MultiWoz의 세 가지 벤치마크 데이터셋과 여섯 가지 LLM(bloomz, falcon, llama2, llama3, qwen2, gemma)에 대해 실험한 결과, 기준 모델(baseline) 및 모든 단일 프롬프트 방법과 비교하여 일관된 성능 향상이 나타났다. 예를 들어 SNIPS에서 llama3-8B는 회상을 78.4에서 90.5로, F1을 72.6에서 82.0으로 향상시켰다. 또한 다양한 모델 크기에 걸쳐 실험을 수행하여 본 방법론의 일반 적용 가능성을 확인하였다. 이러한 결과는 제안된 분산된 프롬프트 전략이 회상, 정밀도, F1 간의 균형을 효과적으로 회복하며, LLM 기반 슬롯 필링을 향상시키기 위한 확장 가능한 방법론을 제공함을 보여준다.

본 논문에서는 다중 인코더 트랜스포머를 사용하는 한국어 추상적 텍스트 요약(abstractive text summarization) 접근법을 제안한다. 최근 자연어 처리(NLP) 분야의 많은 과제에서 전이 학습을 위한 사전학습 언어 모델(PLMs: pre-trained language models)의 활용이 괄목할 만한 성능을 보였다. 특히 BERT(Bidirectional Encoder Representations from Transformers)와 같은 트랜스포머 기반 모델은 사전학습에 사용되며 하위 과제에 적용되어, 추상적 텍스트 요약을 포함하여 최신(state-of-the-art) 성능을 나타낸다. 그러나 기존의 텍스트 요약 모델은 보통 각 모델 아키텍처마다 하나의 사전학습 모델만 사용하는데, 이로 인해 한 번에 하나의 PLM을 선택해야 한다. 한국어 추상적 텍스트 요약에 적용 가능한 PLM으로는 Multilingual BERT, KoBERT, HanBERT, KorBERT 등 서로 다른 장점을 제공하는 공개된 BERT 기반 사전학습 한국어 모델들이 존재한다. 본 연구에서는 이러한 PLM들을 동시에 활용할 수 있다면 더 나은 성능을 얻을 수 있을 것이라 가정한다. 이에 따라 여러 사전학습 모델을 활용할 수 있는 다중 인코더를 사용하여 추상적 요약을 생성하는 모델을 제안한다. 본 방법은 한국어 추상적 요약을 위한 3개의 벤치마크 데이터셋인 Law(AI-Hub), News(AI-Hub), News(NIKL) 데이터셋을 사용하여 평가한다. 실험 결과, 제안한 다중 인코더 모델 변형들이 단일 인코더 모델보다 우수함을 보여준다. 또한 다중 인코더 방법으로 여러 PLM을 활용할 때 최적의 입력 조합을 결정하여 경험적으로 가장 우수한 요약 모델을 도출한다.

본 논문에서는 Scratch와 같은 블록 기반 프로그래밍 언어를 활용하여 초·중등학생에게 텍스트 처리(text processing)를 가르치기 위한 새로운 접근법을 제시한다. 우리의 핵심 아이디어는 학생들로 하여금 (1) 텍스트 처리를 위한 “기본 빌딩 블록(basic building blocks)”을 구축하게 한 다음, (2) 이를 활용하여 예시 텍스트 처리 응용을 만들게 하는 것이다. 이를 위해 우리는 학생들이 이러한 기본 빌딩 블록을 쉽게 만들 수 있도록 Scratch를 약간 수정하였다. 또한 본 예시 응용은 ACM CSTA K-12 컴퓨터 과학 표준의 Data & Analysis 하위 개념(저장(Storage), 컬렉션(Collection), 시각화(Visualization), 변환(Transformation), 추론 & 모델(Inference & Models))을 기반으로 구성되므로, 학생들은 이를 구현함으로써 해당 표준을 달성하는 동시에 텍스트 처리에 대한 이해를 얻을 수 있다. 우리는 본 접근법을 초·중등 교사를 대상으로 두 차례 강의하여 적용하였으며, 설문에 응답한 교사들은 대부분의 평가 항목에서 평균적으로 높은 점수를 부여하였다. 아울러 유사 집단에서의 다른 설문 결과와의 비교를 포함하여 설문 결과에 대한 심층 분석을 수행하였다.

Scratch는 가장 널리 사용되는 블록 기반 교육용 프로그래밍 언어이지만, 웹 스크래핑 기능을 제공하지 않기 때문에 학생들이 실생활 데이터에 기반하여 다양한 유형의 Scratch 프로그램을 만드는 것은 쉽지 않다. 본 논문에서는 웹 스크래핑을 위한 새로운 Scratch 블록을 제시한다. 이러한 블록을 사용하면 학생들은 CSS 선택자를 이용하여 웹 페이지의 HTML 요소들에 포함된 콘텐츠를 스크래핑할 수 있을 뿐만 아니라, XPaths, 마우스의 좌표, 입력 문자열, 키, 또는 단축키(hot keys) 등을 활용하여 여러 방식으로 키보드와 마우스를 자동화할 수 있다. 또한 키-값 쌍(key–value pairs) 형태로 스크래핑된 데이터를 손쉽게 저장하고 검색할 수 있도록 하는 파일 접근(file access) 블록도 제시한다. 우리는 총 15명의 초·중등학교(K-12) 교사를 대상으로 두 차례의 강의를 진행하여, 이들이 10개의 웹 스크래핑 예제 응용 프로그램을 만들 수 있도록 했다. 그 결과, 교사들을 대상으로 실시한 설문조사에서 제안된 웹 스크래핑 블록은 모든 평가 항목에서 높은 점수를 달성했다.