교육용 질의응답 데이터 평가 장치 및 방법

TRL 4
등록

이 기술은 교육용 지문을 바탕으로 질문과 답변을 만든 뒤, 정답지와 직접 비교하지 않고도 그 질문과 답변이 지문에 적절한지 자동으로 평가하는 기술입니다. 질의응답 생성 모델이 각 단어를 만들어 낼 확률을 분석해 관련성·답변 가능성·읽기 쉬움을 함께 판단함으로써, 교육용 질의응답 데이터의 선별과 품질 관리를 지원하는 특허입니다.

특허 개요

본 특허는 교육용 지문에서 생성된 질문·답변 데이터를 자동으로 선별하기 위한 질의응답(QA) 품질 평가 기술입니다. 사전학습된 질의응답 생성(QAG) 모델에 지문과 여러 질문 시작 토큰을 입력해 QA 쌍을 생성하고, 교사 강제 로짓(teacher-forcing logits)에서 얻은 토큰 생성확률의 평균으로 생성 해석 점수(GI)와 생성 해석 점수 기반 품질지표(SGI)를 산출합니다. 질문 구간의 확률로 지문 관련성을, 답변 구간의 확률로 답변 가능성을 반영하며, 질문 시작 토큰과 [BOS]·[EOS]는 평가에서 제외해 편향을 완화합니다.

  • 핵심 기능

지문과 복수의 질문 시작 토큰을 QAG 모델에 입력해 다양한 형태의 QA 쌍을 생성합니다. 이어 생성된 질문과 답변의 토큰별 생성확률을 교사 강제 방식으로 산출하고, 이를 평균한 SGI로 QA 쌍의 품질을 평가해 결과를 사용자에게 제공합니다.

  • 차별 강점

기존 ROUGE·BERTScore 계열 평가는 정답(GT)과의 텍스트 유사도에 주로 의존하므로 지문 관련성, 답변 가능성, 가독성을 직접 평가하는 데 한계가 있었습니다. 본 특허는 GT 없이 생성 QA 자체의 생성확률을 분석하는 참조 없는 평가 방식으로, 질문·답변의 연결성과 교육용 데이터로서의 적절성을 함께 평가하는 점이 차별점입니다.

  • 활용 범위

기술·연구 측면에서는 교육용 독해·문해력 콘텐츠, 아동 스토리북 기반 QA 데이터, 지문 기반 질의응답 학습 시스템, 자연어 생성 품질평가 분야에 활용 가능하며, 도메인별 QAG 모델의 데이터 선별·검수에도 적용할 수 있습니다. 사업 측면에서는 에듀테크 학습 콘텐츠, AI 튜터, 교육 데이터 구축 플랫폼, 고객상담·업무지원용 도메인 특화 LLM의 학습 데이터 품질관리로 확장할 수 있습니다.

연구 개발 단계

TRL 1
기초 원리
TRL 2
개념 정립
TRL 3
개념 검증
TRL 4
실험실 검증
TRL 5
유사 환경
TRL 6
시제품
TRL 7
실증
TRL 8
인증완료
TRL 9
사업화
TRL4교육용 지문 기반 QA 데이터에 대해 사람 평가와의 상관성을 비교 검증한 단계입니다.
현재 검증 내용

Fairytale QA 데이터셋의 20개 지문에 대해 4개 QAG 시스템이 생성한 QA 쌍을 대상으로, 관련성·답변 가능성·가독성 평가와 사람 평가의 상관성을 확인했습니다. GT 유사도 기반 지표, GPT 계열 평가, GI-T5·GI-BART·GISS와 비교했으며, 다른 교육 도메인·언어 및 대규모 실제 서비스 환경에서의 일반화와 운영 비용은 구체적으로 제시되지 않았습니다.

검증 환경

- 평가 데이터: Fairytale QA 데이터셋의 20개 지문과 4개 QAG 시스템이 생성한 QA 쌍
- 비교 기준: GT 유사도 기반 MAP·Concat ROUGE/BERTScore, GPT3.5·GPT4, GI-T5·GI-BART·GISS

- 평가 조건: Rel P-QA, Rel Q-A, Usability, Readability 사람 평가 및 질문 시작 토큰 수 ns=4

현재 성과

성능·효과
GI-BART의 사람 평가 상관성Rel Avg 0.6525, Overall Avg 0.49121

GI-BART는 사람 평가와의 관련성 평균 및 전체 평균 상관성 결과가 제시되었습니다. 생성 QA의 지문 관련성, 질문과 답변의 연결성, 가독성을 함께 반영하는 품질 평가를 목적으로 합니다.

검증·신뢰
사람 평가 상관성 기반 비교 검증ns=4

Fairytale QA 데이터셋의 20개 지문에서 4개 QAG 시스템이 생성한 QA 쌍을 대상으로 사람 평가 상관성을 검증했습니다. GT 유사도 기반 지표, GPT3.5·GPT4, GI-T5·GI-BART·GISS와 비교하고, 관련성·답변 가능성·사용성·가독성을 평가했습니다.

차별성·독창성
GT 없이 생성 QA 자체를 평가하는 SGI 방식

기존 GT 유사도 기반 평가는 기준 답변과의 텍스트 유사도에 의존하지만, 본 기술은 QAG 모델의 교사 강제 로짓과 토큰 생성확률을 활용합니다. 질문 시작 토큰 및 [BOS]·[EOS]를 평가에서 배제해 의도하지 않은 편향을 줄이고, 참조 없는 품질 평가를 구현한 점이 핵심 차별성입니다.

상용화까지 남은 부분

1

다른 교육 도메인과 언어권 데이터에서의 일반화 성능 검증

2

대규모 실제 서비스 환경에서 모델별 재현성 및 평가 일관성 검증

3

모델 운영 비용, 처리량, 서비스 연동 조건에 대한 실증

기술 이전 형태·도입 과정

기술양도
전용실시권
통상실시권
공동 과제 수행
기술지도·자문

도입은 이렇게 진행됩니다.

1

검토 미팅

귀사 상황·데이터 구조 기준으로 적합성을 논의합니다. 자료 검토만으로 끝나도 됩니다.

2

PoC 공동 검증

연구팀 동행 하에 귀사 데이터 기준 재학습·성능을 확인합니다.

3

라이센싱 계약

PoC 결과를 기반으로 희망 형태(실시권·공동연구 등)를 협의합니다.

4

기술지도·후속

도입 초기 기술지도, 필요 시 후속 공동연구·정부과제 연계까지 진행합니다.

특허 정보

발명의 명칭(KR)

교육용 질의응답 데이터 평가 장치 및 방법

출원번호

10-2023-0162875 (2023.11.22)

공개번호

1020250075862 (2025.05.29)

등록번호

10-2946098

발명자

임희석, 문현석

권리자

고려대학교 산학협력단

출원인

고려대학교 산학협력단

문의

담당자이준구
이메일jg.lee@rndcircle.io
연락처010-8978-6417