어포던스 맵 생성은 로봇과 같은 기계의 인지 및 의사결정 분야에서 핵심 주제로 자리잡고 있다. 대부분의 연구는 어포던스 네트워크를 사용하여 인간-물체 상호작용 비디오로부터 인지적으로 유도된 행동 정보를 추출하는 데 초점을 맞추고 있다. 최근에는 모델의 범용성을 향상시키기 위해 비전 데이터와 언어 데이터를 결합하려는 시도가 이루어지고 있다. 그러나 기존 연구는 깊은 맥락적 의미를 포착하지 못하며, 동일한 물체가 등장하더라도 서로 다른 작업 목적이나 상황에 적절한 어포던스를 생성하지 못한다. 이러한 한계를 해결하기 위해 본 연구에서는 언어 기반 어포던스 맵 생성 모델인 Context-conditional 2D Affordance Generation(CAG)을 제안한다. 우리는 다양한 환경에서 서로 다른 물체가 인간 비디오 데이터셋과 상호작용하는 상황에서, 기반 모델을 활용하여 맥락 지식을 추출한다. 제안하는 접근법은 복잡한 문장으로 제시된 목표가 주어지더라도 이를 성공적으로 이해하며, 관련된 조건부 어포던스 맵을 생성한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.