사전된 Vision-Language-Action (VLA) 모델은 일반적으로 텔레오퍼레이션 기반의 성공적인 시연을 학습하는 반면, 데이터 수집 과정에서 자연스럽게 발생하는 수많은 실패 시도는 폐기한다. 그러나 이러한 실패는 정책이 취약해질 수 있는 위치와 방식이 무엇인지를 내포하고 있으며, 이를 활용하여 견고성을 향상시킬 수 있다. 본 연구는 혼합 품질의 데이터셋을 활용하여 계획 시점에서 실패 인지적 추론을 학습함으로써 이 문제를 다룬다. 우리는 VINE이라 불리는 계층적 비전-언어-행동 모델을 제안하며, 계층적 강화학습의 형식 하에서 고수준 추론(System 2)과 저수준 제어(System 1)를 분리하여 실패를 잡음이 섞인 지도 신호가 아니라 구조화된 학습 신호로 사용 가능하게 한다. System 2는 2D 장면 그래프 추상화에 대해 실현 가능성(feasibility) 유도 트리 탐색을 수행한다. 이는 하위 목표 전이를 제안하고, 성공과 실패 모두로부터 성공 확률을 예측하며, 실행 전에 취약한 가지를 가지치기(prune)함으로써 계획 평가를 실현 가능성 점수로 효과적으로 전환한다. 선택된 하위 목표의 연속은 이후 System 1로 전달되며, System 1은 에이전트의 핵심 기술을 수정하지 않고 저수준 행동을 수행한다. VINE은 전적으로 오프라인 텔레오퍼레이션 데이터로부터 학습되며, 부정적 경험을 의사결정 루프에 직접 통합한다. 어려운 조작(manipulation) 과제 전반에서 이 접근법은 성공률과 견고성을 일관되게 향상시키며, 실패 데이터가 VLA의 광범위한 역량을 견고한 실행으로 전환하는 데 필수적인 자원임을 보여준다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.