다수의 산업 분야에서는 수동 제어를 자동화하기 위해 전통적인 제어기를 적용한다. 최근에는 인간과 같은 다양한 산업 영역에서 목표를 달성할 수 있는 고급 제어기로서, 딥러닝 기법이 적용된 인공지능 제어기가 제안되어 왔다. 딥 강화학습(Deep reinforcement learning, DRL)은 이러한 제어기들이 각자의 고유한 운용 목표를 달성하는 방법을 학습하도록 하는 강력한 방법이다. DRL 제어기는 목표 시스템으로부터 샘플링을 통해 학습하기 때문에, 비례-적분-미분(Proportional-integral-derivative, PID) 제어기와 같은 전통적 제어기의 한계를 극복할 수 있다. 원자력발전소(Nuclear power plant, NPP)에서는 자동 시스템이 출력전력 전 운전(풀 파워) 동안 구성요소를 관리할 수 있다. 반면, 시동 및 정지 운전은 상대적으로 덜 자동화되어 있으며 일반적으로 운전원이 수행한다. 본 연구는 시동 운전의 일부인 냉정지(cold shutdown) 운전을 위한 DRL 기반 및 PID 기반 제어기를 제안한다. 제안된 제어기를 비교함으로써, 학습 기반 제어기가 전통적 제어기의 한계를 극복하고 최소한의 조작으로 운용 목표를 달성할 수 있음을 검증하고자 한다. 먼저, 냉정지 운전에서 필요한 구성요소, 운용 목표, 입력/출력을 식별하기 위해 본 연구는 냉정지 운전의 일반적인 운전 절차를 분석하였다. 이후 PID 및 DRL 기반 제어기를 설계하였다. PID 기반 제어기는 지글러–니콜스(Ziegler–Nichols) 규칙을 사용하여 적절하게 튜닝된 PID 제어기로 구성된다. 장단기기억(Long short-term memory, LSTM)을 사용한 DRL 기반 제어기는 분산 우선순위 경험 재생(distributed prioritized experience replay)과 분산 학습(distributed learning)을 통해 학습 시간을 줄일 수 있는 소프트 액터-크리틱(soft actor-critic) 알고리즘으로 학습된다. LSTM은 플랜트의 시계열 데이터를 처리하여 제어 신호를 생성한다. 이후 제안된 제어기들은 냉정지 운전 동안 NPP 시뮬레이터를 사용하여 검증되었다. 마지막으로 본 연구는 PID 기반 및 DRL 기반 제어기의 비교를 통해 운용 성능을 논의한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.