우리는 개인과 조직이 다른 에이전트들과 상호작용하고 협업하는 전용 AI 에이전트를 점점 더 많이 배치하는 시대에 진입하고 있다. 그러나 개인정보 보호 제약 하에서의 다중 에이전트 협업 역학은 아직 충분히 이해되지 못한 상태이다. 본 연구에서는 개인정보 보호 제약 하에서의 다중 에이전트 협업을 체계적으로 평가하기 위한 벤치마크인 $PAC\text{-}Bench$를 제시한다. $PAC\text{-}Bench$에 대한 실험 결과, 개인정보 보호 제약은 협업 성능을 상당히 저하시킬 뿐 아니라 결과가 파트너보다도 개시 에이전트에 더 크게 의존하는 것으로 나타났다. 추가 분석을 통해 이러한 저하는 반복되는 조율(코디네이션) 실패에 의해 좌우됨이 밝혀졌으며, 그에는 초기 단계의 개인정보 보호 위반, 지나치게 보수적인 추상화, 개인정보로 인한 환각이 포함된다. 종합하면, 본 연구는 개인정보 인지형(privacy-aware) 다중 에이전트 협업이 기존 에이전트의 역량만으로는 해결되지 않은 채로 남아 있는 고유한 도전 과제임을 규명하며, 이를 위해서는 기존의 에이전트 능력 너머의 새로운 조율 메커니즘이 필요함을 제시한다.

우리는 개인과 조직이 다른 에이전트들과 상호작용하고 협업하는 전용 AI 에이전트를 점차적으로 배치하는 시대에 진입하고 있다. 그러나 개인정보 보호 제약 하에서의 다중 에이전트 협업 역학은 아직 충분히 이해되지 못한 실정이다. 본 연구에서는 개인정보 보호 제약 하에서의 다중 에이전트 협업을 체계적으로 평가하기 위한 벤치마크인 $PAC\text{-}Bench$를 제시한다. $PAC\text{-}Bench$에서의 실험 결과, 개인정보 보호 제약은 협업 성능을 크게 저하시킬 뿐 아니라 결과가 파트너보다도 초기화하는 에이전트에 더 의존하는 것으로 나타났다. 추가 분석을 통해 이러한 저하가 반복되는 조정(코디네이션) 실패에 의해 유발됨을 확인하였는데, 여기에는 초기 단계에서의 개인정보 보호 위반, 지나치게 보수적인 추상화, 그리고 개인정보 유도(privacy-induced) 환각이 포함된다. 종합하면, 본 연구는 개인정보 인지형 다중 에이전트 협업이 기존 에이전트의 역량만으로는 해결되지 않은 별개의 과제로서, 이를 위해서는 기존의 에이전트 기능을 넘어서는 새로운 조정 메커니즘이 필요함을 규명한다.

Kai Tzu-iunn Ong, Namyoung Kim, Minju Gwak, Hyungjoo Chae, Taeyoon Kwon, Yohan Jo, Seung-won Hwang, Dongha Lee, Jinyoung Yeo. Association for Computational Linguistics(계산언어학회) 북미대륙 지부 2025년도 회의록: Human Language Technologies(인간 언어 기술) (제1권: 장편 논문). 2025.

민주 김, 동제 유, 연준 황, 민석 강, 남영 김, 민주 곽, 병우 곽, 형주 채, 하림 김, 윤종 이, 민희 김, 다이 정, 경미 정, 진영 여. 계산언어학회지(Association for Computational Linguistics) 연구 결과: ACL 2025. 2025.

우리는 개인과 조직이 다른 에이전트들과 상호작용하고 협업하는 전용 AI 에이전트를 점차적으로 배치하는 시대에 진입하고 있다. 그러나 개인정보 보호 제약 하에서의 다중 에이전트 협업 역학은 아직 충분히 이해되지 못한 실정이다. 본 연구에서는 개인정보 보호 제약 하에서의 다중 에이전트 협업을 체계적으로 평가하기 위한 벤치마크인 $PAC\text{-}Bench$를 제시한다. $PAC\text{-}Bench$에서의 실험 결과, 개인정보 보호 제약은 협업 성능을 크게 저하시킬 뿐 아니라 결과가 파트너보다도 초기화하는 에이전트에 더 의존하는 것으로 나타났다. 추가 분석을 통해 이러한 저하가 반복되는 조정(코디네이션) 실패에 의해 유발됨을 확인하였는데, 여기에는 초기 단계에서의 개인정보 보호 위반, 지나치게 보수적인 추상화, 그리고 개인정보 유도(privacy-induced) 환각이 포함된다. 종합하면, 본 연구는 개인정보 인지형 다중 에이전트 협업이 기존 에이전트의 역량만으로는 해결되지 않은 별개의 과제로서, 이를 위해서는 기존의 에이전트 기능을 넘어서는 새로운 조정 메커니즘이 필요함을 규명한다.

우리는 개인과 조직이 다른 에이전트들과 상호작용하고 협업하는 전용 AI 에이전트를 점점 더 많이 배치하는 시대에 진입하고 있다. 그러나 개인정보 보호 제약 하에서의 다중 에이전트 협업 역학은 아직 충분히 이해되지 못한 상태이다. 본 연구에서는 개인정보 보호 제약 하에서의 다중 에이전트 협업을 체계적으로 평가하기 위한 벤치마크인 $PAC\text{-}Bench$를 제시한다. $PAC\text{-}Bench$에 대한 실험 결과, 개인정보 보호 제약은 협업 성능을 상당히 저하시킬 뿐 아니라 결과가 파트너보다도 개시 에이전트에 더 크게 의존하는 것으로 나타났다. 추가 분석을 통해 이러한 저하는 반복되는 조율(코디네이션) 실패에 의해 좌우됨이 밝혀졌으며, 그에는 초기 단계의 개인정보 보호 위반, 지나치게 보수적인 추상화, 개인정보로 인한 환각이 포함된다. 종합하면, 본 연구는 개인정보 인지형(privacy-aware) 다중 에이전트 협업이 기존 에이전트의 역량만으로는 해결되지 않은 채로 남아 있는 고유한 도전 과제임을 규명하며, 이를 위해서는 기존의 에이전트 능력 너머의 새로운 조율 메커니즘이 필요함을 제시한다.

Kai Tzu-iunn Ong, Namyoung Kim, Minju Gwak, Hyungjoo Chae, Taeyoon Kwon, Yohan Jo, Seung-won Hwang, Dongha Lee, Jinyoung Yeo. Association for Computational Linguistics(계산언어학회) 북미대륙 지부 2025년도 회의록: Human Language Technologies(인간 언어 기술) (제1권: 장편 논문). 2025.

민주 김, 동제 유, 연준 황, 민석 강, 남영 김, 민주 곽, 병우 곽, 형주 채, 하림 김, 윤종 이, 민희 김, 다이 정, 경미 정, 진영 여. 계산언어학회지(Association for Computational Linguistics) 연구 결과: ACL 2025. 2025.

전자상거래의 확산은 웹 쇼핑 플랫폼을 방대한 디지털 시장을 탐색하는 고객에게 핵심 관문으로 만들었다. 그러나 이러한 빠른 성장은 소음이 많고 단편화된 정보 환경을 초래하여, 쇼핑객이 온라인에서 제품을 탐색하고 구매하는 과정에서 인지적 부담을 증가시키고 있다. 이 문제를 완화할 가능성이 유망함에도 불구하고, 에이전틱 시스템은 웹 쇼핑에서 사용자 측 작업을 자동화하기 위한 방안으로서 점차 주목을 받아 왔다. 그럼에도 불구하고, 기존 벤치마크는 개방형 웹 환경에서 에이전틱 시스템이 제품을 얼마나 잘 큐레이션할 수 있는지에 대해 포괄적으로 평가하지 못한다. 구체적으로, 이들은 쇼핑 시나리오의 범위를 제한적으로 다루며, 탐색적 검색보다는 단순화된 단일 플랫폼 조회에만 초점을 맞춘다. 또한 평가에서 개인화(personalization)를 간과하여, 에이전트가 현실적인 쇼핑 맥락에서 다양한 사용자 선호에 적응할 수 있는지 여부가 불명확하다. 이러한 공백을 해소하기 위해, 우리는 개방형 웹 환경에서 개인화된 제품 큐레이션을 수행하는 에이전틱 시스템을 평가하기 위한 최초의 벤치마크인 AgenticShop을 제시한다. 핵심적으로, 우리의 접근법은 현실적인 쇼핑 시나리오, 다양한 사용자 프로필, 그리고 검증 가능하며 체크리스트에 기반한 개인화 평가 프레임워크를 특징으로 한다. 광범위한 실험을 통해, 현재의 에이전틱 시스템은 전반적으로 충분하지 않음을 보여주며, 현대 웹 전반에서 맞춤형 제품을 효과적으로 큐레이션할 수 있는 사용자 측 시스템의 필요성을 강조한다.

대규모 언어 모델(LLMs)의 발전에도 불구하고, 형식 소프트웨어 검증을 위한 자동 증명 생성은 여전히 상당 부분 해결되지 않은 문제로 남아 있다. LLM은 자연어처리(NLP), 비전, 코드 생성에서는 우수한 성능을 보이지만, 형식 검증은 여전히 상당한 인력 투입을 필요로 한다. 대화형 정리 증명(ITP)은 엄격한 논리 제약 하에서 수작업으로 증명을 구성해야 하므로 확장성이 제한되는데, 예를 들어 seL4 마이크로커널을 검증하는 데는 수십 년의 노력이 요구되었다. 기존의 LLM 기반 접근법은 이 과정을 자동화하려고 시도하지만 여전히 한계가 있다. 대부분은 단발성 생성 또는 얕은 검색에 의존하는데, 이는 소규모 증명에는 효과적일 수 있으나, 깊은 구조적 의존성을 갖는 크고 상호 연관된 검증 과제로는 확장되지 못한다. 본 연구에서는 PROMISE(PROof MIning via Structural Embeddings)를 제시한다. PROMISE는 증명 생성을 증명 상태 전이(proof-state transitions)에 대한 상태 기반 탐색(stateful search)으로 재구성하는, 구조를 인지하는 프레임워크이다. 표면 수준의 검색 대신, PROMISE는 증명 상태와 전술(tactic) 전이로부터 구조적 패턴을 채굴(mines)하여 반복적 탐색 과정에서 호환되는 증명 조각(proof fragments)을 검색하고 적응할 수 있게 한다. 우리는 PROMISE를 seL4 벤치마크에서 여러 LLM 백엔드에 걸쳐 평가하고 Selene 및 Rango와 같은 기존 시스템과 비교한다. PROMISE는 일관되게 기존 방법보다 우수한 성능을 보이며, 모델 전반에 걸친 견고성을 유지하면서 최대 +26점 향상(상대적 증가 186%)을 달성한다. 이는 확장 가능한 정리 증명을 위한 구조 인지형 증명 채굴의 효과를 보여준다.

대규모 언어 모델(LLM)의 발전에도 불구하고, 형식 소프트웨어 검증을 위한 자동 증명 생성은 여전히 크게 해결되지 않은 과제로 남아 있다. LLM은 NLP, 비전, 코드 생성에서는 우수한 성능을 보이지만, 형식 검증은 여전히 상당한 수준의 인간 작업을 필요로 한다. 대화형 정리증명(ITP)은 엄격한 논리 제약 하에서 수동으로 증명을 구성해야 하므로 확장성이 제한되며, 예컨대 seL4 마이크로커널을 검증하는 데는 수십 년의 노력이 요구되었다. 기존의 LLM 기반 접근법은 이 과정을 자동화하려 시도했으나 여전히 한계가 있다. 대부분은 단회성 생성 또는 얕은 검색에 의존하는데, 이는 소규모 증명에서는 작동할 수 있으나, 깊은 구조적 의존성을 가진 크고 상호 연관적인 검증 과제로 확장하면 실패할 수 있다. 본 연구는 PROMISE(PROof MIning via Structural Embeddings)로, 증명 생성을 증명-상태 전이(proof-state transitions)에 대한 상태지향적 탐색으로 재구성하는 구조 인지적(structure-aware) 프레임워크를 제시한다. PROMISE는 표면 수준의 검색 대신 증명 상태와 전술(tactic) 전이에서 구조적 패턴을 채굴(mines)하여, 반복적 탐색 과정에서 호환되는 증명 조각(proof fragments)을 검색하고 적응할 수 있게 한다. 우리는 PROMISE를 seL4 벤치마크에서 여러 LLM 백엔드에 대해 평가하고, Selene 및 Rango와 같은 선행 시스템과 비교한다. PROMISE는 이전 방법보다 일관되게 우수한 성능을 보이며, 모델 전반에 걸친 강건성(robustness)을 유지하면서 최대 +26점(상대적 증가 186%)의 향상을 달성한다. 이는 확장 가능한 정리증명에서 구조 인지적 증명 채굴의 효과를 입증한다.

웹 네비게이션은 다수의 반복적인 일상 과업을 자동화할 수 있는 독특한 분야이지만, 기존의 전형적인 멀티모달 대규모 언어 모델(MLLM) 과업을 넘어서는 장기(장시간) 순차적 의사결정을 요구한다는 점에서 어렵다. 그럼에도 불구하고, 웹 네비게이션에 활용할 수 있는 훈련 및 테스트 시점 모두에서 사용할 수 있는 특화 보상 모델은 지금까지 부재하였다. 속도와 비용 효율성의 중요성에도 불구하고, 선행 연구들은 보상 모델로 MLLM을 사용해 왔으며, 이는 실제 환경에서의 배포에 상당한 제약을 야기한다. 이를 해결하기 위해 본 연구에서는 단계 수준에서 웹 네비게이션 궤적을 평가할 수 있는 최초의 프로세스 보상 모델(PRM)인 Web-Shepherd를 제안한다. 이를 위해 먼저 WebPRM Collection을 구축하는데, 이는 다양한 도메인과 난이도 수준에 걸쳐 체크리스트가 주석으로 포함된 40K 규모의 단계 수준 선호 쌍으로 구성된 대규모 데이터셋이다. 다음으로, PRM을 평가하기 위한 최초의 메타-평가 벤치마크인 WebRewardBench도 함께 소개한다. 실험에서 우리는 Web-Shepherd가 WebRewardBench에서 GPT-4o를 사용할 때보다 약 30점 더 높은 정확도를 달성함을 관찰하였다. 또한 정책으로 GPT-4o-mini를 사용하고 검증자로 Web-Shepherd를 사용하는 방식으로 WebArena-lite에서 테스트했을 때, GPT-4o-mini를 검증자로 사용하는 경우 대비 성능이 10.9점 더 향상되었으며 비용은 10배 적었다. 본 모델, 데이터셋 및 코드는 LINK에서 공개되어 있다.