휴머노이드 로봇의 성능은 DARPA Robotics Challenge와 같은 로봇 게임에 참여한 데에 부분적으로 기인하여 향상되고 있다. 2018년 평창 동계올림픽과 함께, 휴머노이드 로봇이 자율적으로 거대 회전 알파인 스키 대회에 참가하는 스키 로봇 대회가 개최되었다. 로봇은 결승선에 도달하기 위해 스키 슬로프에서 다수의 빨간색 또는 파란색 게이트를 통과해야 했다. 코스는 길이 100 m로 비교적 짧았으며 중급 수준으로 평가되었다. 높이 1.23 m의 휴머노이드 스키 로봇 ‘DIANA’를 이 대회를 위해 개발하였다. 인간을 모사하는 휴머노이드 로봇으로서 목표는 가능한 한 빠르게 경사면을 하강하는 것이었으므로, 로봇은 카빙 턴 동작을 수행하도록 개발되었다. 카빙 턴은 다른 턴 방법에 비해 균형 잡기가 어려웠다. 따라서 양족 보행 로봇의 자세 안정성을 확보할 수 있는 ZMP 제어를 적용하였다. 스키는 야외에서 수행되므로 다양한 기상 조건에서 플래그를 인식할 수 있어야 했다. 이는 딥러닝 기반 비전 인식으로 보장되었다. 그 결과, 실제 스키 슬로프에서 수행한 실험을 통해 카빙 턴을 이용하여 휴머노이드 로봇 DIANA의 성능을 확립하였다. 휴머노이드 로봇에 대한 궁극적인 비전은 그것들이 인간 사회에 자연스럽게 융화되어 사람들에게 필요한 서비스를 제공하는 것이다. 이전에는 전신 크기의 휴머노이드 로봇이 눈 덮인 산에서 이동할 수 있는 방법이 없었다. 본 연구에서는 이러한 제한을 넘어서는 휴머노이드 로봇을 구현하였다.

인간형 로봇의 양족 보행 안정성을 향상시키기 위해, 실제 환경에서 트레드밀과 유사한 시험대(testbed) 상에서 강화학습을 이용하여 궤적 파라미터를 설정하는 방법을 개발하였다. 강화학습 알고리즘으로 심층 결정론적 정책 경사법(DDPG; deep deterministic policy gradient)을 사용하였다. 제로 모멘트 포인트(ZMP; zero moment point)를 활용하여 보상을 개선함으로써 보행 안정성과 보행 속도의 최적값을 결정하였다. 로봇은 ZMP를 측정하고 상체에 장착 하중을 부착하도록 설계되었다. 또한 로봇의 보행 속도와 동일한 속도로 동작하도록 트레드밀을 제작하였다. 강화학습은 무가중 조건과 1kg의 하중을 적용한 조건으로 구분하였다. 약 100분 동안 300개의 에피소드를 수행하였으며, 보상은 16.71% 및 26.25% 향상되었다. ZMP 측정 결과, 양족 보행은 안전 영역 내에서 수행됨이 확인되었다. 따라서 우리는 인간형 로봇의 양족 보행 성능이 보행 속도와 ZMP 유사성에 대한 강화학습을 통해 향상될 수 있음을 입증하였다.