연구 영역
기본 정보
논문·특허
구성원
Article|
인용수 7
·2021
Structured World Belief for Reinforcement Learning in POMDP
Gautam B. Singh, Skand Vishwanath Peri, Jung-Hyun Kim, Hyunseok Kim, Sungjin Ahn
arXiv (Cornell University)
초록

객체 중심의 월드 모델은 장면을 구조적으로 표현할 수 있으며 강화학습과 계획수립에서 중요한 기반이 될 수 있다. 그러나 기존 접근법들은 믿음 상태(belief states)가 부재하기 때문에 부분 관측 환경에서 어려움을 겪는다. 본 논문에서는 객체 중심 믿음 상태의 학습 및 추론을 위한 모델인 Structured World Belief을 제안한다. 순차 몬테카를로(Sequential Monte Carlo, SMC)에 의해 추론되는 우리의 믿음 상태는 다수의 객체 중심 장면 가설을 제공한다. SMC 입자(particle)의 이점과 객체 표현을 결합하기 위해, 객체 영속성(object permanence)의 귀납적 편향(inductive bias)을 고려하는 새로운 객체 중심 동역학 모델도 함께 제안한다. 이를 통해 객체가 오랫동안 보이지 않더라도 객체 상태를 추적할 수 있다. 또한 이러한 상황에서 객체 추적을 더욱 용이하게 하기 위해, 기존 모델에서 제한되었던 이미지 내 임의의 공간 위치에 유연하게 주의를 기울일 수 있도록 한다. 실험에서 객체 중심 믿음은 여과(filtering)와 생성(generation)에 대해 보다 정확하고 견고한 성능을 제공함을 보인다. 더 나아가, 강화학습, 계획수립 및 지도 학습 기반 추론(supervised reasoning)의 성능을 향상시키는 데 있어 구조화된 월드 믿음(structured world belief)의 효능을 입증한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.

키워드
Reinforcement learningComputer scienceArtificial intelligenceObject (grammar)InferenceRepresentation (politics)Learning objectMachine learningObject modelVideo tracking
타입
Article
IF / 인용수
- / 7
게재 연도
2021