특허 개요
본 특허는 지식 기반 대화 모델이 만든 답변을 사후 점검하고, 근거가 부족한 답변을 다시 생성하는 발화 사후 정제 기술입니다. DAE 기반 소스-충실도 점수로 정제 대상을 선별한 뒤, 소스 지식에서 추출한 개체명(사람·장소·조직 등)과 기존 발화, 지식을 함께 입력해 정제 발화를 재생성하는 REM(Entity Mining for Response Refinement) 방식을 사용합니다. 엔티티 마이너의 NER 헤드와 발화 생성기의 GEN 헤드를 다중 작업으로 학습해, 지식에 없는 개체명 생성이나 개체명 왜곡을 줄이도록 구성됩니다.
- 핵심 기능
지식 기반 대화 모델이 지식과 대화 이력에 따라 초기 발화를 생성하면, 충실도 필터링 모듈이 DAE 점수와 임계치에 따라 정제 필요 여부를 판단합니다. 정제가 필요한 발화는 소스 지식에서 추출한 개체명과 함께 발화 생성기에 입력되어, 지식 근거를 반영한 응답으로 재생성됩니다.
- 차별 강점
기존 지식 기반 대화 모델은 소스 문서를 참조하더라도 문서에 없거나 잘못된 개체명을 생성하는 엔티티 수준 환각이 발생할 수 있었습니다. 본 기술은 모든 생성 구조를 교체하지 않고 기존 KGC 모델 출력에 플러그 앤 플레이 방식으로 적용하면서, 충실도 점수 기반 선별과 개체명 결합 재생성을 함께 수행하는 점이 차별점입니다.
- 활용 범위
기술·연구 측면에서는 지식 기반 대화, 검색증강생성 기반 응답, 자연어 생성 사실성 평가, 도메인 특화 LLM 정제 분야에 활용 가능하며, 기업 문서·지식베이스 기반 응답 품질 검증으로 확장할 수 있습니다. 사업 측면에서는 고객상담 AI, 업무지원 챗봇, 교육·학습용 대화형 AI, 사내 문서 질의응답, 정보 제공 서비스의 신뢰성 강화 기능으로 확장할 수 있습니다.
연구 개발 단계
BART-base·BART-large 및 기존 지식 기반 대화 모델의 출력에 REM 사후 정제를 적용하고, FoCus·WoW·CMUDoG 데이터셋에서 소스-충실도, 참조 매칭, 다양성 지표를 평가했습니다. ChatGPT로 왜곡한 발화의 정제 결과도 제시되었으나, 실제 서비스별 지식베이스에서의 사용자 평가와 장기 운영 신뢰성은 추가 검증이 필요합니다.
- 평가 대상: BART-base·BART-large 및 기존 지식 기반 대화 모델의 생성 발화
- 비교 모델: BARTbase, INFO, EDMem, ITDD 및 ChatGPT로 왜곡한 ADV 발화
- 평가 조건: FoCus·WoW·CMUDoG 데이터셋에서 DAE·EC·TC, chrF·ROUGE-L·SacreBLEU, Distinct-N 평가
현재 성과
FoCus 데이터셋에서 미세조정 BART-base 기반 REM은 DAE 0.83, EC 23.40%, TC 20.32%를 기록했습니다. 동일 비교 조건의 BARTbase는 DAE 0.60, EC 7.54%, TC 13.85%로 제시되어, 엔티티 관련 정제 지표의 개선이 확인되었습니다.
ChatGPT로 생성한 소스 불충실 ADV 발화를 대상으로 모든 발화를 정제하는 조건에서 평가했습니다. FoCus ADV 발화의 DAE·chrF·ROUGE-L은 0.63·27.09·31.10이었고, REMlarge 정제 후 0.87·41.91·36.87로 제시되었습니다.
기존 방식은 지식 기반 대화 모델의 생성 단계 자체를 개선하거나 엔티티 메모리를 통합하는 접근을 사용했습니다. 본 기술은 생성 후 발화의 소스-충실도를 기준으로 정제 여부를 선택하고, 소스에서 추출한 개체명을 결합해 재생성하는 REM 구조를 적용한 점이 차별점입니다.
상용화까지 남은 부분
실제 서비스 도메인별 지식베이스와 사용자 질의 환경에서의 응답 신뢰성 및 사용자 평가 검증
장기 운영 환경에서 지식 변경, 신규 문서 유입, 오류 사례에 대응하는 정제 품질과 운영 신뢰성 검증
다양한 언어와 데이터 분포, 도메인 간 이전 환경에서의 일반화 성능 검증
기술 이전 형태·도입 과정
도입은 이렇게 진행됩니다.
검토 미팅
귀사 상황·데이터 구조 기준으로 적합성을 논의합니다. 자료 검토만으로 끝나도 됩니다.
PoC 공동 검증
연구팀 동행 하에 귀사 데이터 기준 재학습·성능을 확인합니다.
라이센싱 계약
PoC 결과를 기반으로 희망 형태(실시권·공동연구 등)를 협의합니다.
기술지도·후속
도입 초기 기술지도, 필요 시 후속 공동연구·정부과제 연계까지 진행합니다.
특허 정보
신뢰성 있는 지식 기반 대화를 위한 발화 사후 정제 장치 및 방법
10-2023-0164108 (2023.11.23)
1020250076904 (2025.05.30)
1028758900000 (2025.10.21)
임희석, 장윤나
고려대학교 산학협력단
고려대학교 산학협력단