강화학습(RL)은 에이전트가 과거의 상태-행동-보상 경험의 연속을 활용하여 미래의 행동 연속을 예측하는 시퀀스 모델링 과제로 볼 수 있다. 본 연구에서는 영상 입력을 사용하는 로봇 학습을 위한 Transformer 아키텍처인 State-Action-Reward Transformer(StARformer)를 제안한다. StARformer는 단기 상태-행동-보상 표현(StAR-representations)을 명시적으로 모델링함으로써, 본질적으로 장기 모델링을 개선하기 위한 마코프적(Markovian-like) 귀납적 편향을 도입한다. StARformer는 먼저 짧은 시간 창 내에서 영상 상태, 행동, 보상 토큰의 자기-주의 패치들을 이용하여 StAR-표현을 추출한다. 이러한 StAR-표현은 합성곱 특징으로 추출한 순수 영상 상태 표현과 결합되어, 전체 시퀀스에 대해 자기-주의를 수행한다. 실험 결과, StARformer는 오프라인 RL 및 모방 학습의 두 설정 모두에서 이미지 기반 Atari 및 DeepMind Control Suite 벤치마크에서 최신 Transformer 기반 방법보다 성능이 우수함을 보였다. 또한 패치 단위 및 합성곱 기반 영상 임베딩의 조합으로부터 모델이 이익을 얻을 수 있음을 확인하였다. StARformer는 기본 방법(baseline)보다도 더 긴 입력 시퀀스에 대해 더 높은 적합성을 보였다. 마지막으로, 인간 추종(human-following) 과제를 통해 StARformer가 실제 환경의 로봇 모방 학습에 성공적으로 적용될 수 있음을 시연한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.