프로젝트 소개
본 과제는 생성 AI가 사실과 다른 내용을 만들어내는 환각 현상을 찾아내고 줄여, 사용자가 믿을 수 있는 정보를 제공하도록 지원하는 기술을 개발하는 연구임.
연구 목표는 생성 AI 결과물의 사실적 일관성과 진실성을 검증하는 환각 탐지 기술, 일관된 논지와 진실한 정보만 처리하도록 하는 환각 완화 기술, 그리고 성능을 정량적으로 평가하는 벤치마크 구축임. 핵심 연구 내용은 훈련 데이터, 프롬프트, 구조화된 데이터 참조, 학습 과정 및 모델 구조, 디코딩 과정 등 환각 원인을 분류하고 원인별 완화 기술을 개발하는 것임. 또한 실제 세계 지식과의 사실 관계 확인 기술, 도메인 특화 거대언어모델 개발 기술, 환각 검출 벤치마크 데이터셋 설계 가이드라인과 저작 툴 및 자동화 평가 시스템 구축을 추진함. 기대 효과는 RLMF 플랫폼과 오픈 소스 거대언어모델에의 활용, 의료·금융·법률 등 높은 신뢰성이 필요한 분야의 AI 서비스 확산, 생성 AI의 사회적 활용성과 정보 접근성 향상임.