다중 로봇 시스템은 넓은 환경 전반에서의 효율적 협력이 요구되는 커버리지 작업에 널리 활용된다. 다중 로봇 커버리지 경로 계획(Multi-Robot Coverage Path Planning, MCPP)에서 일반적으로 목표는 전체 영역을 커버하기 위해 서로 겹치지 않는 경로를 생성함으로써 makespan을 최소화하는 것이다. 그러나 대부분의 기존 방법은 구역 전반에서의 중요도가 균일하다고 가정하여, 일부 구역에 보다 신속한 주의가 필요한 상황에서의 효과를 제한한다. 우리는 우선순위 인지 MCPP(Priority-Aware MCPP, PA-MCPP) 문제를 제안한다. 이 문제에서는 환경의 일부가 가중치와 함께 우선순위 구역으로 지정된다. 목표는 구역 커버리지의 총 우선순위-가중 지연 시간과 전체 makespan을 렉시코그래픽(사전식) 순서로 최소화하는 것이다. 이를 해결하기 위해, (1) 국소 탐색을 결합한 탐욕적 구역 할당, 스패닝 트리 기반 경로 계획, 그리고 (2) Steiner-tree(슈타이너 트리) 유도를 통한 잔여 커버리지를 포함하는 확장 가능한 2단계 프레임워크를 제안한다. 다양한 시나리오에 걸친 실험 결과, 본 방법은 표준 MCPP 기준선과 비교하여 우선순위-가중 지연 시간을 유의미하게 감소시키는 동시에, 경쟁력 있는 makespan을 유지함을 보여주었다. 민감도 분석 또한 본 방법이 로봇 수에 대해 잘 확장되며, 우선순위 가중치를 조정함으로써 구역 커버리지의 행동을 효과적으로 제어할 수 있음을 추가로 시사한다.

다중 로봇 시스템은 대규모 환경 전반에서 효율적인 협업이 요구되는 커버리지(coverage) 작업에 널리 사용된다. 다중 로봇 커버리지 경로 계획(Multi-Robot Coverage Path Planning, MCPP)에서 일반적으로 목표는 전체 영역을 커버하기 위해 서로 겹치지 않는 경로를 생성하여 makespan(완료 시간)을 최소화하는 데에 있다. 그러나 대부분의 기존 방법은 영역 전반에서 중요도가 균일하다고 가정하므로, 일부 구역에 더 빠른 주의가 요구되는 상황에서는 한계가 있다. 본 연구에서는 우선순위 인지 MCPP(Priority-Aware MCPP, PA-MCPP) 문제를 제안한다. 여기서는 환경의 일부 영역을 우선순위 구역으로 지정하고, 각 구역에는 가중치가 부여된다. 목표는 (사전식/lexicographic) 순서로, 구역 커버리지의 총 우선순위-가중 지연(priority-weighted latency)과 전체 makespan을 최소화하는 것이다. 이를 위해 (1) 탐욕적 구역 할당과 국소 탐색, 스패닝 트리(spanning-tree) 기반 경로 계획, 및 (2) 스테이너 트리(Steiner-tree) 유도를 통한 잔여 커버리지를 결합한 확장 가능한 2단계 프레임워크를 제안한다. 다양한 시나리오에 대한 실험 결과, 본 방법은 표준 MCPP 기준선과 비교하여 우선순위-가중 지연을 유의미하게 감소시키면서도 경쟁력 있는 makespan을 유지함을 보여준다. 추가적인 민감도 분석에서는 본 방법이 로봇 수의 증가에 따라 잘 확장됨과 동시에, 우선순위 가중치를 조정함으로써 구역 커버리지의 거동을 효과적으로 제어할 수 있음을 확인하였다.

본 연구는 공유 에너지 저장 시스템(ESS) 운영자와 이기적인 ESS 사용자 간의 계층적 상호작용 모델을 제안하며, 이를 공유 ESS 에너지 거래 게임(EET 게임)이라고 한다. EET 게임에서 ESS 운영자는 ESS 사용자 간의 에너지 거래를 조절하기 위해 시간에 따라 변하는 에너지 판매 및 구매 가격을 설정한다. 한편, ESS 사용자는 에너지 판매(공유 ESS에 충전 에너지를 공급) 및 구매(공유 ESS로부터 방전 에너지를 확보)와 관련된 일정에 대한 의사결정을 수행한다. 우리는 EET 게임을 일반화 스택엘버그 게임(GSG)으로 모형화하고, ESS 운영자와 ESS 사용자를 위한 최적 전략을 도출하기 위해 일반화 스택엘버그 균형(GSE)을 정의한다. EET 게임 내에서 우리는 GSE인 변분 스택엘버그 균형(VSE)의 존재성을 증명한다. 이 균형을 계산하기 위해 암묵적 그라디언트를 포함하는 경사 기반 알고리즘을 활용한다. 마지막으로, 주거 가구의 에너지 수요 데이터에 기반한 시뮬레이션 연구를 통해 모형을 검증하였으며, 총 에너지 비용(EC)과 피크 대 평균 비율(PAR)을 모두 감소시키는 데 있어 본 접근법의 효과를 보여준다.

가우시안 과정(Gaussian Process, GP)을 방출(emission) 모델로 사용하는 은닉 마르코프 모델(Hidden Markov model, HMM)은 복잡한 형태의 연속(시계열) 데이터를 모델링하기 위해 널리 사용되어 왔다. 본 연구에서는 단일 채널에서 순차적으로 관측되는 각 시계열 관측치의 은닉 상태를 추정하기 위해, SM 커널(SM kernel)을 사용하는 GP 방출을 결합한 하이브리드 베이지안 HMM(HMM-GPSM)을 제안한다. 이어서, (1) 상태 전이를 위한 시퀀스의 수가 많고, (2) 각 은닉 상태에 대해 시계열 관측에서의 데이터 포인트 수가 많은, 대규모 시계열 데이터셋의 큰 시퀀스에 대해 HMM-GPSM을 학습하기 위한 확장 가능한 추론 방법을 제안한다. 상태 전이를 위한 시퀀스 수가 많은 경우에는 HMM-GPSM의 파라미터를 효율적으로 업데이트하기 위해 확률적 변분 추론(stochastic variational inference, SVI)을 사용한다. 또한, 데이터 포인트 수가 많은 각 시계열 관측에 대해서는 SM 커널의 스펙트럴 밀도(spectral density)에서 표본화한 스펙트럴 포인트를 사용하여 구성한 무작위 푸리에 특성(Random Fourier Feature, RFF)을 통해 근사 GP 방출을 제안한다. 아울러, 근사 GP 방출과 이에 대응하는 HMM-GPSM의 커널 하이퍼파라미터에 대한 효율적인 추론을 제안한다. 구체적으로, KL 발산(KL divergence)을 사용하여 GP 방출 가능도의 정규화된 하한(regularized lower bound)으로부터, 많은 수의 시계열 관측치에 대해 확장 가능하게 계산할 수 있는 HMM-GPSM의 학습 손실, 즉 증거 하한(evidence lower bound)을 도출한다. 제안된 방법들은 (1)과 (2)를 모두 포함하는 순차 시계열 데이터셋으로 HMM-GPSM을 학습하는 데 함께 활용될 수 있다. 제안 방법은 성능 지표로 군집화 정확도, 주변 가능도(marginal likelihood), 학습 시간을 사용하여 합성 및 실제 데이터셋에서 검증한다.

궤적 예측은 인간의 행동을 모델링하는 데 있어 핵심적인 과제로, 사회 로봇과 자율주행 차량 내비게이션과 같은 안전성 요구가 치명적인 분야에서 특히 중요하다. 수작업 규칙에 기반한 전통적인 휴리스틱은 종종 정확도가 부족한 반면, 최근에 제안된 딥러닝 접근법은 계산 비용이 높고 추론 속도가 느리며 설명가능성이 결여되어 있고, 일반화 문제로 인해 이러한 환경에서의 실제 도입이 제한된다. 본 논문에서는 궤적 예측 휴리스틱을 자동으로 설계하기 위해 대규모 언어 모델(Large Language Models, LLMs)을 활용하는 프레임워크 TrajEvo를 소개한다. TrajEvo는 진화 알고리즘을 사용하여 과거 궤적 데이터로부터 예측 휴리스틱을 생성하고 이를 정교화한다. 우리는 집단 다양성을 촉진하기 위한 교차 세대 엘리트 샘플링(Cross-Generation Elite Sampling)과, LLM이 대안적 예측을 분석할 수 있도록 하는 통계 피드백 루프(Statistics Feedback Loop)를 제안한다. 평가 결과, TrajEvo는 다양한 실제 데이터셋에서 기존의 휴리스틱 방법을 능가하며, 특히 보지 못한 실제 데이터셋으로 일반화할 때는 휴리스틱과 딥러닝 방법 모두를 현저히 능가함을 보였다. TrajEvo는 빠르고, 설명가능하며, 일반화 가능한 궤적 예측 휴리스틱의 자동 설계를 향한 첫걸음에 해당한다. 우리는 향후 연구를 촉진하기 위해 소스 코드를 공개한다.

다중 에이전트 강화학습(Multi-Agent Reinforcement Learning, MARL)은 수색 및 구조, 감시, 선박 보호에 활용되는 무인 수상정(USV) 스웜과 같이, 에이전트들 간의 협력과 경쟁이 공존하는 복잡한 문제를 해결하는 데 유망한 기법으로 주목받고 있다. 그러나 보상 함수에 전문가의 직관을 인코딩하기가 어렵기 때문에, 사용자 선호에 맞추어 시스템의 행동을 정렬하는 일은 쉽지 않다. 이에 본 연구에서는 에이전트-수준 피드백(Agent-Level Feedback) 시스템을 통해 피드백을 개별 에이전트 내(intra-agent), 에이전트 간(inter-agent), 팀 내(intra-team) 유형으로 분류함으로써, 학점배정(credit-assignment) 문제를 해결하는 MARL을 위한 인간 피드백을 이용한 강화학습(Reinforcement Learning with Human Feedback, RLHF) 접근법을 제안한다. 직접적인 인간 피드백의 어려움을 극복하기 위해, 우리는 대규모 언어 모델(Large Language Model, LLM) 평가자를 사용하여 지역 제약(region constraints), 충돌 회피(collision avoidance), 임무 할당(task allocation)과 같은 피드백 시나리오로 우리의 접근법을 검증한다. 제안 방법은 공정성(fairness)과 성능 일관성(performance consistency)을 유지하면서, 다중 에이전트 시스템에서의 핵심 과제들을 해결하고 USV 스웜 정책을 효과적으로 정교화한다.

프로파일링 차량 경로 문제(Profiled Vehicle Routing Problem, PVRP)는 고전적 VRP에 차량-고객별 선호도와 제약을 통합함으로써 구역 제한 및 서비스 수준 선호도와 같은 현실 세계의 요구사항을 반영한다. 최근의 강화학습 기반 해법들은 유망한 성능을 보였지만, 각 새로운 프로파일 분포마다 재학습이 필요하고, 표현 능력이 좋지 않으며, 분포 외(out-of-distribution) 인스턴스로 일반화하는 데 어려움을 겪는다. 본 논문에서는 이러한 한계를 극복하기 위해 임의의 프로파일 유형을 본질적으로 처리하는 새로운 프레임워크인 프로파일링 경로를 위한 통합 해법(Unified Solver for Profiled Routing, USPR)을 제안한다. USPR은 세 가지 핵심 혁신을 도입한다: (i) 어떤 조합의 프로파일 유형도 인코딩하는 프로파일 임베딩(Profile Embeddings, PE); (ii) 차량과 고객 간의 풍부한 상호작용을 모델링하는 어텐션 메커니즘인 멀티 헤드 프로파일드 어텐션(Multi-Head Profiled Attention, MHPA); (iii) 프로파일 점수를 사용하여 디코더 로짓을 동적으로 조정함으로써 일반화를 향상시키는 프로파일 인지 점수 재형성(Profile-aware Score Reshaping, PSR). 다양한 PVRP 벤치마크에 대한 실험 결과, USPR은 학습 기반 방법들 가운데 최첨단의 결과를 달성하면서도 유연성과 계산 효율성에서 유의미한 향상을 제공함을 보여준다. 또한 향후 연구를 촉진하기 위해 소스 코드를 공개한다.

조합최적화(Combinatorial optimization, CO)는 물류와 스케줄링부터 하드웨어 설계 및 자원 배분에 이르기까지 여러 현실 세계의 응용에 근간이 되는 분야이다. 최근 심층 강화학습(Reinforcement Learning, RL)은 CO 문제를 해결하는 데 있어 상당한 이점을 보여 주었으며, 이는 도메인 전문성에 대한 의존도를 낮추고 계산 효율을 향상시키는 데 기여한다. 그러나 통합된 벤치마킹 프레임워크의 부재로 인해 평가가 일관되지 않고, 재현성이 제한되며, 공학적 작업 부담이 증가하여 신규 연구자들의 도입에 장벽이 되고 있다. 이러한 과제를 해결하기 위해 본 연구는 RL4CO를 제안한다. RL4CO는 27개의 CO 문제 환경에 대한 심층 라이브러리 커버리지를 포함하고 23개의 최신(state-of-the-art) 기준 모델(baseline)을 제공하는, 통합적이고 대규모의 벤치마크이다. 효율적인 소프트웨어 라이브러리와 구현 모범 사례에 기반하여, RL4CO는 모듈화된 구현과 다양한 환경, 정책(policy) 아키텍처, RL 알고리즘 및 유틸리티의 유연한 설정을 특징으로 하며, 방대한 문서화를 제공한다. RL4CO는 무거운 공학적 작업에서 과학을 분리함으로써 연구 전 과정을 촉진하여, 기존의 성공을 토대로 하면서도 연구자들이 자신의 설계를 탐색하고 개발할 수 있도록 돕는다. 마지막으로, 새로운 통찰과 향후 연구를 고무하기 위한 광범위한 벤치마크 연구를 제공한다. RL4CO는 이미 학계의 다수 연구자들을 끌어들이고 있으며 https://github.com/ai4co/rl4co 에서 오픈 소스로 공개되어 있다. © 2025 Association for Computing Machinery. All rights reserved.

다중 로봇 시스템은 넓은 환경 전반에서의 효율적 협력이 요구되는 커버리지 작업에 널리 활용된다. 다중 로봇 커버리지 경로 계획(Multi-Robot Coverage Path Planning, MCPP)에서 일반적으로 목표는 전체 영역을 커버하기 위해 서로 겹치지 않는 경로를 생성함으로써 makespan을 최소화하는 것이다. 그러나 대부분의 기존 방법은 구역 전반에서의 중요도가 균일하다고 가정하여, 일부 구역에 보다 신속한 주의가 필요한 상황에서의 효과를 제한한다. 우리는 우선순위 인지 MCPP(Priority-Aware MCPP, PA-MCPP) 문제를 제안한다. 이 문제에서는 환경의 일부가 가중치와 함께 우선순위 구역으로 지정된다. 목표는 구역 커버리지의 총 우선순위-가중 지연 시간과 전체 makespan을 렉시코그래픽(사전식) 순서로 최소화하는 것이다. 이를 해결하기 위해, (1) 국소 탐색을 결합한 탐욕적 구역 할당, 스패닝 트리 기반 경로 계획, 그리고 (2) Steiner-tree(슈타이너 트리) 유도를 통한 잔여 커버리지를 포함하는 확장 가능한 2단계 프레임워크를 제안한다. 다양한 시나리오에 걸친 실험 결과, 본 방법은 표준 MCPP 기준선과 비교하여 우선순위-가중 지연 시간을 유의미하게 감소시키는 동시에, 경쟁력 있는 makespan을 유지함을 보여주었다. 민감도 분석 또한 본 방법이 로봇 수에 대해 잘 확장되며, 우선순위 가중치를 조정함으로써 구역 커버리지의 행동을 효과적으로 제어할 수 있음을 추가로 시사한다.

다중 로봇 시스템은 대규모 환경 전반에서 효율적인 협업이 요구되는 커버리지(coverage) 작업에 널리 사용된다. 다중 로봇 커버리지 경로 계획(Multi-Robot Coverage Path Planning, MCPP)에서 일반적으로 목표는 전체 영역을 커버하기 위해 서로 겹치지 않는 경로를 생성하여 makespan(완료 시간)을 최소화하는 데에 있다. 그러나 대부분의 기존 방법은 영역 전반에서 중요도가 균일하다고 가정하므로, 일부 구역에 더 빠른 주의가 요구되는 상황에서는 한계가 있다. 본 연구에서는 우선순위 인지 MCPP(Priority-Aware MCPP, PA-MCPP) 문제를 제안한다. 여기서는 환경의 일부 영역을 우선순위 구역으로 지정하고, 각 구역에는 가중치가 부여된다. 목표는 (사전식/lexicographic) 순서로, 구역 커버리지의 총 우선순위-가중 지연(priority-weighted latency)과 전체 makespan을 최소화하는 것이다. 이를 위해 (1) 탐욕적 구역 할당과 국소 탐색, 스패닝 트리(spanning-tree) 기반 경로 계획, 및 (2) 스테이너 트리(Steiner-tree) 유도를 통한 잔여 커버리지를 결합한 확장 가능한 2단계 프레임워크를 제안한다. 다양한 시나리오에 대한 실험 결과, 본 방법은 표준 MCPP 기준선과 비교하여 우선순위-가중 지연을 유의미하게 감소시키면서도 경쟁력 있는 makespan을 유지함을 보여준다. 추가적인 민감도 분석에서는 본 방법이 로봇 수의 증가에 따라 잘 확장됨과 동시에, 우선순위 가중치를 조정함으로써 구역 커버리지의 거동을 효과적으로 제어할 수 있음을 확인하였다.

본 연구는 공유 에너지 저장 시스템(ESS) 운영자와 이기적인 ESS 사용자 간의 계층적 상호작용 모델을 제안하며, 이를 공유 ESS 에너지 거래 게임(EET 게임)이라고 한다. EET 게임에서 ESS 운영자는 ESS 사용자 간의 에너지 거래를 조절하기 위해 시간에 따라 변하는 에너지 판매 및 구매 가격을 설정한다. 한편, ESS 사용자는 에너지 판매(공유 ESS에 충전 에너지를 공급) 및 구매(공유 ESS로부터 방전 에너지를 확보)와 관련된 일정에 대한 의사결정을 수행한다. 우리는 EET 게임을 일반화 스택엘버그 게임(GSG)으로 모형화하고, ESS 운영자와 ESS 사용자를 위한 최적 전략을 도출하기 위해 일반화 스택엘버그 균형(GSE)을 정의한다. EET 게임 내에서 우리는 GSE인 변분 스택엘버그 균형(VSE)의 존재성을 증명한다. 이 균형을 계산하기 위해 암묵적 그라디언트를 포함하는 경사 기반 알고리즘을 활용한다. 마지막으로, 주거 가구의 에너지 수요 데이터에 기반한 시뮬레이션 연구를 통해 모형을 검증하였으며, 총 에너지 비용(EC)과 피크 대 평균 비율(PAR)을 모두 감소시키는 데 있어 본 접근법의 효과를 보여준다.

가우시안 과정(Gaussian Process, GP)을 방출(emission) 모델로 사용하는 은닉 마르코프 모델(Hidden Markov model, HMM)은 복잡한 형태의 연속(시계열) 데이터를 모델링하기 위해 널리 사용되어 왔다. 본 연구에서는 단일 채널에서 순차적으로 관측되는 각 시계열 관측치의 은닉 상태를 추정하기 위해, SM 커널(SM kernel)을 사용하는 GP 방출을 결합한 하이브리드 베이지안 HMM(HMM-GPSM)을 제안한다. 이어서, (1) 상태 전이를 위한 시퀀스의 수가 많고, (2) 각 은닉 상태에 대해 시계열 관측에서의 데이터 포인트 수가 많은, 대규모 시계열 데이터셋의 큰 시퀀스에 대해 HMM-GPSM을 학습하기 위한 확장 가능한 추론 방법을 제안한다. 상태 전이를 위한 시퀀스 수가 많은 경우에는 HMM-GPSM의 파라미터를 효율적으로 업데이트하기 위해 확률적 변분 추론(stochastic variational inference, SVI)을 사용한다. 또한, 데이터 포인트 수가 많은 각 시계열 관측에 대해서는 SM 커널의 스펙트럴 밀도(spectral density)에서 표본화한 스펙트럴 포인트를 사용하여 구성한 무작위 푸리에 특성(Random Fourier Feature, RFF)을 통해 근사 GP 방출을 제안한다. 아울러, 근사 GP 방출과 이에 대응하는 HMM-GPSM의 커널 하이퍼파라미터에 대한 효율적인 추론을 제안한다. 구체적으로, KL 발산(KL divergence)을 사용하여 GP 방출 가능도의 정규화된 하한(regularized lower bound)으로부터, 많은 수의 시계열 관측치에 대해 확장 가능하게 계산할 수 있는 HMM-GPSM의 학습 손실, 즉 증거 하한(evidence lower bound)을 도출한다. 제안된 방법들은 (1)과 (2)를 모두 포함하는 순차 시계열 데이터셋으로 HMM-GPSM을 학습하는 데 함께 활용될 수 있다. 제안 방법은 성능 지표로 군집화 정확도, 주변 가능도(marginal likelihood), 학습 시간을 사용하여 합성 및 실제 데이터셋에서 검증한다.