불확실성 조건부 강화학습을 통한 로봇 제어의 견고화

Uncertainty-Conditioned Reinforcement Learning for Robust Robot Control

연구 내용

상태에 대한 인식론적 불확실성을 추정해 행동 선택에 반영함으로써 학습 분포 밖에서도 안정적인 로봇 동작을 수행하는 연구

본 연구는 딥 강화학습이 학습 분포 밖 상태에서 과신된 행동을 선택하는 문제를 다룹니다. 상태로부터 특성 벡터를 산출하고 인식론적 불확실성을 함께 추정한 뒤, 불확실성 조건을 정책에 반영하여 행동을 선택하도록 설계합니다. 이를 통해 새 환경에서 정책이 과도하게 확신하지 않도록 하고, 로봇 제어에서 발생할 수 있는 충돌 같은 안전 문제를 줄이는 것을 목표로 합니다. 관련 방법은 심층 강화학습 장치 및 학습 절차로 제시되어 있습니다.

관련 프로젝트

1건

연구 흐름

2022년에는 낯선 상황에서 과신된 행동을 줄이기 위해 불확실성을 조건으로 사용하는 정책 구조를 제안했습니다. 이후 2023년에는 상태 기반으로 특성 벡터와 인식론적 불확실성을 추정하고 보상에 의해 학습되는 심층 강화학습 장치·방법 형태로 구체화했습니다. 동시에 2022년부터 진행된 미래형 자동차 핵심기술 전문인력양성 과제를 통해 자율주행 관련 교육·실증 기반 기술 축적과 연계된 연구 흐름을 유지하고 있습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

상태 분포 이동 대응 강화학습 제어
불확실성 기반 안전한 주행 정책
학습 밖 상황의 속도·가감속 제어
로봇 조작에서의 위험 회피
분포 외 일반화 성능 향상
새 환경 적응을 위한 불확실성 추정
정책 전이 시 신뢰도 보정
시뮬레이션-실환경 안전 전개
실시간 불확실성 조건부 의사결정
자율시스템용 안전 의사결정 모듈