ChatGPT의 출현 이후, 대규모 언어 모델(LLM)에 대한 연구는 다양한 분야에서 활발히 진전되어 왔다. 방대한 텍스트 데이터셋에 대해 사전 학습된 LLM은 자연어 이해 및 계획 수립 과제를 수행하는 데 있어 뛰어난 능력을 보여 주었다. 이러한 LLM의 능력은 로보틱스 분야에 유망한 가능성을 시사한다. 일반적으로 전통적인 지도학습 기반 로봇 지능 시스템은 역동적으로 변화하는 환경에 대한 적응성이 크게 부족하다. 그러나 LLM은 로봇 지능 시스템이 역동적이고 복잡한 현실 환경에서 일반화 능력을 향상하는 데 도움을 준다. 실제로 진행 중인 로보틱스 연구 결과에 따르면, LLM은 로봇의 행동 계획 및 실행 역량을 유의미하게 향상시킬 수 있다. 또한, 비전-언어 모델(VLM)은 시각 질의 응답(vision question answering, VQA) 문제를 위해 광범위한 시각 및 언어 데이터로 학습되었으며, 컴퓨터 비전과 자연어 처리의 통합을 잘 수행한다. VLM은 시각적 맥락을 이해하고 자연어를 통해 행동을 수행할 수 있다. 아울러 자연어로 장면을 설명하는 기능도 제공한다. 여러 연구에서 VLM에 의한 물체 인식 및 설명뿐 아니라, 시각 정보를 통합한 언어 기반 명령의 실행 등을 포함하여, 멀티모달 데이터를 활용한 로봇 지능의 향상을 탐구해 왔다. 본 리뷰 논문은 LLM 및 VLM과 같은 파운데이션 모델이 로봇 지능을 향상하는 데 어떻게 활용되어 왔는지를 체계적으로 고찰한다. 명확성을 위해 연구 영역을 강화학습에서의 보상 설계, 저수준 제어, 고수준 계획, 조작, 장면 이해의 다섯 가지 주제로 범주화하였다. 또한 본 리뷰는, 강화학습에서 보상 함수 설계를 자동화하기 위한 Eureka 모델, 비전 데이터·언어·로봇 행동을 통합하는 비전-언어-행동 모델에서의 RT-2, LLM을 통해 실행 가능한 과제를 생성하고 로봇 행동 정책을 수행하는 AutoRT와 같은 파운데이션 모델이 로봇 지능을 어떻게 향상했는지를 보여 주는 연구들을 요약한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.