신뢰성 있는 지식 기반 대화를 위한 발화 사후 정제 장치 및 방법

TRL 4
2025 등록

이 기술은 인공지능이 대화 답변을 만든 뒤 참고한 지식과 맞는지 점검하고, 근거가 부족한 답변은 핵심 이름 정보를 반영해 다시 쓰는 방법입니다. 그럴듯하지만 사실과 다른 답변을 줄여 고객상담, 기업 문서 질의응답 등에서 더 근거 있는 응답을 제공하기 위한 특허입니다.

특허 개요

본 특허는 지식 기반 대화 모델이 만든 답변을 사후 점검하고, 근거가 부족한 답변을 다시 생성하는 발화 사후 정제 기술입니다. DAE 기반 소스-충실도 점수로 정제 대상을 선별한 뒤, 소스 지식에서 추출한 개체명(사람·장소·조직 등)과 기존 발화, 지식을 함께 입력해 정제 발화를 재생성하는 REM(Entity Mining for Response Refinement) 방식을 사용합니다. 엔티티 마이너의 NER 헤드와 발화 생성기의 GEN 헤드를 다중 작업으로 학습해, 지식에 없는 개체명 생성이나 개체명 왜곡을 줄이도록 구성됩니다.

  • 핵심 기능

지식 기반 대화 모델이 지식과 대화 이력에 따라 초기 발화를 생성하면, 충실도 필터링 모듈이 DAE 점수와 임계치에 따라 정제 필요 여부를 판단합니다. 정제가 필요한 발화는 소스 지식에서 추출한 개체명과 함께 발화 생성기에 입력되어, 지식 근거를 반영한 응답으로 재생성됩니다.

  • 차별 강점

기존 지식 기반 대화 모델은 소스 문서를 참조하더라도 문서에 없거나 잘못된 개체명을 생성하는 엔티티 수준 환각이 발생할 수 있었습니다. 본 기술은 모든 생성 구조를 교체하지 않고 기존 KGC 모델 출력에 플러그 앤 플레이 방식으로 적용하면서, 충실도 점수 기반 선별과 개체명 결합 재생성을 함께 수행하는 점이 차별점입니다.

  • 활용 범위

기술·연구 측면에서는 지식 기반 대화, 검색증강생성 기반 응답, 자연어 생성 사실성 평가, 도메인 특화 LLM 정제 분야에 활용 가능하며, 기업 문서·지식베이스 기반 응답 품질 검증으로 확장할 수 있습니다. 사업 측면에서는 고객상담 AI, 업무지원 챗봇, 교육·학습용 대화형 AI, 사내 문서 질의응답, 정보 제공 서비스의 신뢰성 강화 기능으로 확장할 수 있습니다.

연구 개발 단계

TRL 1
기초 원리
TRL 2
개념 정립
TRL 3
개념 검증
TRL 4
실험실 검증
TRL 5
유사 환경
TRL 6
시제품
TRL 7
실증
TRL 8
인증완료
TRL 9
사업화
TRL4복수의 공개 대화 데이터셋과 적대적 왜곡 발화를 대상으로 자동 평가 기반의 정제 효과가 검증된 단계입니다.
현재 검증 내용

BART-base·BART-large 및 기존 지식 기반 대화 모델의 출력에 REM 사후 정제를 적용하고, FoCus·WoW·CMUDoG 데이터셋에서 소스-충실도, 참조 매칭, 다양성 지표를 평가했습니다. ChatGPT로 왜곡한 발화의 정제 결과도 제시되었으나, 실제 서비스별 지식베이스에서의 사용자 평가와 장기 운영 신뢰성은 추가 검증이 필요합니다.

검증 환경

- 평가 대상: BART-base·BART-large 및 기존 지식 기반 대화 모델의 생성 발화
- 비교 모델: BARTbase, INFO, EDMem, ITDD 및 ChatGPT로 왜곡한 ADV 발화

- 평가 조건: FoCus·WoW·CMUDoG 데이터셋에서 DAE·EC·TC, chrF·ROUGE-L·SacreBLEU, Distinct-N 평가

현재 성과

성능·효과
FoCus 데이터셋 소스-충실도 DAE0.83

FoCus 데이터셋에서 미세조정 BART-base 기반 REM은 DAE 0.83, EC 23.40%, TC 20.32%를 기록했습니다. 동일 비교 조건의 BARTbase는 DAE 0.60, EC 7.54%, TC 13.85%로 제시되어, 엔티티 관련 정제 지표의 개선이 확인되었습니다.

검증·신뢰
적대적 왜곡 발화 정제 후 DAE0.87

ChatGPT로 생성한 소스 불충실 ADV 발화를 대상으로 모든 발화를 정제하는 조건에서 평가했습니다. FoCus ADV 발화의 DAE·chrF·ROUGE-L은 0.63·27.09·31.10이었고, REMlarge 정제 후 0.87·41.91·36.87로 제시되었습니다.

차별성·독창성
선별 정제와 개체명 결합 재생성 구조

기존 방식은 지식 기반 대화 모델의 생성 단계 자체를 개선하거나 엔티티 메모리를 통합하는 접근을 사용했습니다. 본 기술은 생성 후 발화의 소스-충실도를 기준으로 정제 여부를 선택하고, 소스에서 추출한 개체명을 결합해 재생성하는 REM 구조를 적용한 점이 차별점입니다.

상용화까지 남은 부분

1

실제 서비스 도메인별 지식베이스와 사용자 질의 환경에서의 응답 신뢰성 및 사용자 평가 검증

2

장기 운영 환경에서 지식 변경, 신규 문서 유입, 오류 사례에 대응하는 정제 품질과 운영 신뢰성 검증

3

다양한 언어와 데이터 분포, 도메인 간 이전 환경에서의 일반화 성능 검증

기술 이전 형태·도입 과정

기술양도
전용실시권
통상실시권
공동 과제 수행
기술지도·자문

도입은 이렇게 진행됩니다.

1

검토 미팅

귀사 상황·데이터 구조 기준으로 적합성을 논의합니다. 자료 검토만으로 끝나도 됩니다.

2

PoC 공동 검증

연구팀 동행 하에 귀사 데이터 기준 재학습·성능을 확인합니다.

3

라이센싱 계약

PoC 결과를 기반으로 희망 형태(실시권·공동연구 등)를 협의합니다.

4

기술지도·후속

도입 초기 기술지도, 필요 시 후속 공동연구·정부과제 연계까지 진행합니다.

특허 정보

발명의 명칭(KR)

신뢰성 있는 지식 기반 대화를 위한 발화 사후 정제 장치 및 방법

출원번호

10-2023-0164108 (2023.11.23)

공개번호

1020250076904 (2025.05.30)

등록번호

1028758900000 (2025.10.21)

발명자

임희석, 장윤나

권리자

고려대학교 산학협력단

출원인

고려대학교 산학협력단

문의

담당자이준구
이메일jg.lee@rndcircle.io
연락처010-8978-6417