Self-Evolving Agents는 인공지능 에이전트가 환경 및 다양한 도구와의 상호작용을 통해 경험을 축적하고, 이를 바탕으로 스스로 발전할 수 있도록 설계된 시스템입니다. 이러한 에이전트는 단순히 주어진 명령을 수행하는 것을 넘어서, 실제 환경에서 얻은 데이터와 피드백을 바탕으로 지속적으로 학습하고 적응합니다. 이를 통해 기존의 정적인 인공지능 시스템이 가지는 한계를 극복하고, 보다 유연하고 실용적인 지능을 구현할 수 있습니다. 경험 기반 지능 루프는 에이전트가 새로운 경험을 획득하고, 이를 효과적으로 통합하여 정책을 개선하는 과정을 포함합니다. 이 과정에서 중요한 점은 'catastrophic forgetting'을 방지하는 것으로, 새로운 정보를 학습하면서도 기존에 습득한 지식을 잃지 않도록 하는 기술이 필요합니다. 본 연구실에서는 경험 획득, 자기 개선, 경험 및 정책 통합 등 각 단계에서 발생할 수 있는 문제를 체계적으로 분석하고, 이를 해결하기 위한 다양한 알고리즘과 모델을 개발하고 있습니다. 이러한 연구는 인공지능 에이전트가 실제 환경에서 자율적으로 문제를 해결하고, 예측하지 못한 상황에서도 효과적으로 대처할 수 있도록 하는 데 큰 기여를 합니다. 미래에는 자율주행, 로봇 제어, 지능형 비서 등 다양한 분야에서 Self-Evolving Agents의 응용이 확대될 것으로 기대되며, 본 연구실은 이와 관련된 핵심 기술 개발에 앞장서고 있습니다.

신뢰할 수 있는 에이전트 시스템은 인공지능이 실제 세계의 지식, 시간적 사건, 도메인 특화된 사실 등 외부 근거에 기반하여 의사결정을 내릴 수 있도록 하는 것을 목표로 합니다. 이러한 시스템은 단순히 정답을 맞추는 것에 그치지 않고, 그 과정에서 논리적, 사실적, 행동적 일관성을 유지해야 합니다. 이를 위해 본 연구실에서는 'faithfulness', 'factuality', 'consistency alignment' 등 다양한 신뢰성 지표를 정의하고, 이를 충족시키기 위한 모델 구조와 학습 방법을 연구하고 있습니다. 특히, 에이전트가 내리는 결정이 외부 증거에 의해 뒷받침되는지, 그리고 최신의 세계 지식이나 시간적 변화에 맞게 정보를 업데이트하고 있는지에 대한 평가가 중요합니다. 이를 위해 다양한 벤치마크와 평가 프레임워크를 개발하고, 실제 언어 모델 및 에이전트 시스템에 적용하여 그 효과를 검증하고 있습니다. 또한, 에이전트의 행동이 일관성을 유지하도록 하는 알고리즘 개발에도 집중하고 있습니다. 이 연구는 인공지능이 사회적으로 신뢰받을 수 있는 기술로 자리잡기 위해 필수적인 요소입니다. 의료, 법률, 금융 등 고신뢰성이 요구되는 분야에서 인공지능의 활용도를 높이고, 잘못된 정보 생성(환각 현상)이나 비일관적 행동을 최소화하는 데 중요한 역할을 합니다. 본 연구실은 신뢰성 있는 에이전트 시스템의 이론적 기반과 실제 적용 사례를 모두 아우르며, 차세대 인공지능의 핵심 역량을 강화하는 데 주력하고 있습니다.

대형 언어 모델(LLM)을 활용한 에이전트 기반 워크플로우는 복잡한 문제 해결 과정에서 계획 수립, 도구 활용, 증거 및 컨텍스트 관리 등 다양한 기능을 통합적으로 수행할 수 있도록 설계됩니다. 본 연구실에서는 에이전트가 언제, 어떻게 탐색하고 계획을 세우며, 적절한 도구를 호출할지에 대한 학습 방법을 연구합니다. 이를 통해 에이전트가 주어진 문제에 대해 다단계로 스스로 작업을 분할하고, 각 단계에서 필요한 정보를 능동적으로 수집·활용할 수 있도록 합니다. 특히, 증거와 컨텍스트 관리 기술은 에이전트가 방대한 정보 속에서 핵심적인 데이터를 선별하고, 이를 바탕으로 신뢰성 있는 결과를 도출하는 데 필수적입니다. 본 연구실은 정보의 검색, 필터링, 우선순위 결정 등 에이전트 주도의 정보 관리 방식을 개발하고, 이를 반복적·재귀적으로 적용하여 워크플로우의 효율성과 정확성을 높이고 있습니다. 이러한 과정은 복잡한 질의 응답, 멀티모달 데이터 처리, 실시간 의사결정 등 다양한 응용 분야에서 활용됩니다. 에이전트 기반 LLM 워크플로우 연구는 인공지능이 단순한 명령 수행을 넘어, 복잡한 문제를 체계적으로 분석하고 해결하는 능력을 갖추게 하는 데 중점을 둡니다. 미래에는 인간과의 상호작용, 협업, 자율적 문제 해결 등 다양한 영역에서 이 기술의 중요성이 더욱 커질 것으로 예상되며, 본 연구실은 관련 핵심 기술의 선도적 개발을 목표로 하고 있습니다.