본 논문은 수학적 모델링과 파라미터 추정을 기반으로 하는 sim-to-real 강화학습(RL) 제어기를 사용하여, 회전형 이중-역진자(RDIP) 시스템을 위한 전이 제어 전략을 제안한다. 고해상도 센서 데이터를 이용해 핵심 물리 파라미터를 추정함으로써 시뮬레이션에 대한 모델 충실성을 보장한다. 그 결과로 도출된 수학적 모델은 훈련 환경으로 사용되며, 그 안에서 RL 에이전트는 다양한 초기 조건과 목표 평형 구성 사이의 전이를 수행하는 방법을 학습한다. 훈련 과정은 Truncated Quantile Critics(TQC) 알고리즘을 채택하고, 보상 함수는 시스템의 비선형적 특성을 반영하도록 특별히 설계된다. 학습된 정책은 추가 튜닝이나 캘리브레이션 없이 물리 하드웨어에 그대로 배치되며, TQC 기반 제어기는 네 가지 모든 평형 전이를 성공적으로 달성한다. 또한 제어기는 외란 하에서 견고한 복구 성질을 보이며, 고차원 비선형 시스템을 위한 신뢰성 있는 sim-to-real 제어 접근법으로서의 유효성을 입증한다.

본 논문에서는 상용으로 제공되는 기성(open source) 하드웨어에 기반한 경량 고속 제어 프로토타이핑(RCP) 시스템을 제안하여 고성능 컴퓨팅, 비용 효율성, 휴대성, 그리고 손쉬운 접근성을 달성하고자 한다. 제안된 RCP 시스템은 제어 작용을 계산하기 위한 PC 기반 컴퓨터보조 제어 시스템 설계(CACSD) 도구와, I/O(입출력) 동작 및 내장 고속 USB 인터페이스를 통한 데이터 전송을 수행하는 손바닥 크기의 오픈 소스 하드웨어로 구성된다. 저렴하고 휴대 가능한 오픈 소스 하드웨어는 CACSD 도구와 실제 플랜트 사이의 브리지로 사용되어 샘플링 시점에 제어 및 센서 데이터를 전달한다. 제안된 경량 RCP 시스템에 활용된 CACSD 도구를 바탕으로 I/O 동작을 간단히 처리하기 위해 C 코드로 작성된 10개의 I/O 기능 블록을 개발하였다. 또한 제어 시스템의 샘플링 속도를 향상시키기 위해 일괄 전송 배치 전송 전략(batch transfer strategy)과 변동 샘플링 주기(variable sampling period) 방법의 두 가지 실용적 전략을 제안한다. 실험을 통해, 고가의 하드웨어와 C 코드 생성기를 채택하지 않더라도 제안된 경량 RCP 시스템이 최대 2 kHz의 샘플링 속도까지 적절히 동작함을 보였다. 제안된 RCP 시스템은 대규모 교육을 위한 학교에서 저렴하고 즉시 이용 가능할 것으로 기대된다.