근거·전제 기반 추론 강화 질문응답 및 추론 모델 학습 제어 연구

Evidentiality/Presupposition for QA Robustness and Controllable Reasoning Model Training

연구 내용

질문에 포함된 전제와 근거 신뢰도를 활용해 오답 유발 요인을 제어하고, RL 기반 추론 모델 학습의 초기 편향을 완화하는 연구

오픈도메인 및 장문 질문응답에서는 모호성, 그릇된 전제, 또는 근거 부재로 인해 모델이 그럴듯하지만 잘못된 답을 생성하는 문제가 발생합니다. 본 연구는 질문에서 전제를 추출하고 이를 working memory로 활용해 피드백과 후속 행동을 생성하는 프레임워크를 제안합니다. 또한 멀티홉 QA에서 정답은 맞지만 이유가 부적절한 편향을 완화하기 위해, 정답 추론의 근거 지지 여부를 직접 주석 없이 학습하도록 pseudo-evidentiality 신호를 구성합니다. 더 나아가 추론 모델 학습에서는 short chain-of-thought가 초기 단계에서 저하되는 문제를 완화하기 위한 데이터셋과 파이프라인을 제안하여 RL 초기 학습 기반을 개선합니다.

관련 프로젝트

0건

연구 흐름

초기에는 장문 정보탐색 질문에서 오답을 유발하는 모호성 및 false presupposition을 다루기 위해, 질문 전제를 추출하고 이를 모델 내부 상태(working memory)로 활용하는 방식으로 접근했습니다. 이어서 멀티홉에서 발생하는 evidentiality 편향을 근거 문장과의 반사실 변화 비교로 신호화하여, 추가 고비용 주석 없이도 견고한 학습이 가능하도록 확장했습니다. 최근에는 QA 자체의 견고성뿐 아니라, RL 기반 추론 모델의 cold-start를 줄이기 위한 데이터셋/파이프라인을 구성하며 학습 제어 관점을 통합하고 있습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

장문 정보탐색 QA 보정 모듈
질문 전제 추출 기반 응답 제어
근거 신뢰도 추정 학습기
멀티홉 추론 견고화
오답 유도 입력 필터링
추론 품질 모니터링 로직
RL 기반 추론 모델 학습 데이터
short CoT 편향 완화
생성형 질의응답 안전성 향상
추론 예산(생각 길이) 제어기