CMOS 기술이 계속 미세화됨에 따라, 성능 요구사항을 만족하는 집적회로를 설계하는 일은 극도로 어려워지고 있다. 특히 공정, 전압 및 온도(process, voltage, and temperature; PVT) 변동에 대해 견고한 아날로그 회로를 설계하려면 숙련된 엔지니어가 광범위한 수작업 반복과 SPICE 시뮬레이션을 수행해야 한다. 이러한 문제를 해결하기 위해 본 연구에서는 모든 PVT 코너에 걸친 견고한 아날로그 설계를 목표로 하는 계층적 강화학습(hierarchical reinforcement learning; HRL) 기반 회로 설계 프레임워크 HR2를 제안한다. HR2는 회로 스이징(circuit sizing) 문제를 여러 하위 문제로 분해하고, 다중 에이전트 HRL 구조를 활용함으로써 각 에이전트가 해당 하위 문제에 특화하고 변동에 대한 인식을 갖게 한다. 또한 RL 환경 내에 PVT 고려사항을 효율적으로 내재화하기 위한 경량 변동 모델링 기법을 도입한다. 최악의 변동(worst-case variations)과 설계 마진(design margins)을 고려하는 보상함수 또한 개발하여, 결과 설계의 견고성을 향상시킨다. HR2는 기존의 이전 RL 기반 접근법에 비해 샘플 수는 최대 76% 감소하고 런타임은 74% 감소하는 한편, 몬테카를로 시뮬레이션 실패 비율은 55배 더 낮은 수준을 보인다.
*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.