최근 자율선박에 대한 관심이 높아지면서 스마트 선박의 안정성, 신뢰성 및 효율성은 중요한 이슈가 되고 있다. 자동 충돌 회피 시스템은 자율선박의 필수 기능이다. 이 시스템은 충돌 가능성을 감지하고 경제성과 안전을 고려하여 자동으로 회피 조치를 수행한다. 본 연구에서는 강화학습을 이용한 자동 충돌 회피 시스템을 구축하기 위해, 선박 충돌의 순차적 의사결정 문제를 마르코프 결정 과정(Markov Decision Process, MDP)으로 수학적으로 정식화한다. 강화학습 환경은 선박 기동 방정식을 기반으로 구성하고, 이후 MDP의 세 가지 핵심 구성요소(상태, 행동, 보상)를 정의한다. 상태는 자선과 표적선 간의 관계에 대한 매개변수를 사용하고, 행동은 표적 진로로부터의 수직 거리로 설정하며, 보상은 안전과 경제성을 고려하는 함수로 정의한다. 순차적 의사결정 문제를 해결하기 위해 연속적인 행동 공간을 표현하고 최적 행동 정책을 탐색할 수 있는 딥 결정론적 정책 경사(Deep Deterministic Policy Gradient, DDPG) 알고리즘을 활용한다. 이후 충돌 회피 시스템을 90° 교차 교전 상황을 가정하여 시험하였고, 만족스러운 결과를 도출하였다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.