최근의 로봇 작업 계획자들은 실패 탐지(failure detector)로서 대규모 언어 모델(LLMs) 또는 비전-언어 모델(VLMs)을 활용한다. 이러한 방법들은 의미적 추론 능력을 활용함으로써 성능을 잘 발휘하지만, 대체로 환경을 충분히 이해하고 있다는 가정을 전제로 하여, 명시적인 구조적 모델링이 없는 복잡한 장면에서는 신뢰할 수 없는 계획으로 이어질 수 있다. 이러한 한계를 해결하기 위해, 본 연구는 객체 수준의 관계를 명시적으로 모델링하는 새로운 다중 뷰 장면 이해 프레임워크를 제안하며, 이를 통해 실패 탐지와 효과적인 작업 재계획을 가능하게 한다. 우리의 접근은 먼저 포괄적인 커버리지를 위해 다중 뷰 이미지를 획득하고, 객체 정체성과 관계 정보를 인코딩하는 로컬 2D 장면 그래프를 생성한다. 이를 바탕으로, 로컬 2D 장면 그래프들을 하나의 통합 표현으로 결합하는 그래프 신경망 기반 모델을 도입한다. 이 과정은 통합 장면 그래프를 생성하며, 이를 사용하여 작업 성공 여부를 판별하고 실패 원인을 식별한다. 각 하위 작업에 대해, 본 프레임워크는 작업 계획 단계에서 LLM이 예측한 기대 장면 그래프와 통합 장면 그래프를 비교하고, 두 그래프 간의 일탈(deviations)에 근거하여 잠재적 실패 원인을 식별한다. 이후 이러한 원인들을 LLM에 다시 입력하여 효과적인 재계획을 돕고, 반복적 실패를 줄이며 적응성을 향상시킨다. 우리는 다섯 개의 실제 환경 기반 벤치마크 작업에서 본 프레임워크의 적용 가능성을 입증한다. 또한 실패 탐지 및 추론 성능을 다른 방법들과 별도로 비교하여, 다중 뷰 인식과 명시적 그래프 기반 추론을 결합할 때의 이점을 보여준다. 추가 정보는 https://sites.google.com/view/scrutinize-robot-manipulation에서 확인할 수 있다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.