상세 설명

신뢰할 수 있는 에이전트 시스템은 인공지능이 실제 세계의 지식, 시간적 사건, 도메인 특화된 사실 등 외부 근거에 기반하여 의사결정을 내릴 수 있도록 하는 것을 목표로 합니다. 이러한 시스템은 단순히 정답을 맞추는 것에 그치지 않고, 그 과정에서 논리적, 사실적, 행동적 일관성을 유지해야 합니다. 이를 위해 본 연구실에서는 'faithfulness', 'factuality', 'consistency alignment' 등 다양한 신뢰성 지표를 정의하고, 이를 충족시키기 위한 모델 구조와 학습 방법을 연구하고 있습니다. 특히, 에이전트가 내리는 결정이 외부 증거에 의해 뒷받침되는지, 그리고 최신의 세계 지식이나 시간적 변화에 맞게 정보를 업데이트하고 있는지에 대한 평가가 중요합니다. 이를 위해 다양한 벤치마크와 평가 프레임워크를 개발하고, 실제 언어 모델 및 에이전트 시스템에 적용하여 그 효과를 검증하고 있습니다. 또한, 에이전트의 행동이 일관성을 유지하도록 하는 알고리즘 개발에도 집중하고 있습니다. 이 연구는 인공지능이 사회적으로 신뢰받을 수 있는 기술로 자리잡기 위해 필수적인 요소입니다. 의료, 법률, 금융 등 고신뢰성이 요구되는 분야에서 인공지능의 활용도를 높이고, 잘못된 정보 생성(환각 현상)이나 비일관적 행동을 최소화하는 데 중요한 역할을 합니다. 본 연구실은 신뢰성 있는 에이전트 시스템의 이론적 기반과 실제 적용 사례를 모두 아우르며, 차세대 인공지능의 핵심 역량을 강화하는 데 주력하고 있습니다.

키워드

관련 이미지

관련 자료