본 연구에서는 장기 지평(multi-horizon) 다중과제 환경을 위한 문맥 내 정책 적응(in-context policy adaptation, ICPAD) 프레임워크를 제시하며, 교차 도메인 환경에서 확산 기반 기술(스킬) 학습 기법을 탐구한다. 이 프레임워크는 특히 모델 업데이트가 불가능하고 목표 도메인 데이터가 제한적인 엄격한 제약 하에서, 기술 기반 강화학습 정책을 다양한 목표 도메인에 대해 신속하게 적응할 수 있도록 한다. 구체적으로, 본 프레임워크는 교차 도메인 기술 확산(cross-domain skill diffusion) 방식을 활용하는데, 도메인 비특화(prototype) 기술과 도메인 기반(domain-grounded) 기술 어댑터를 교차 도메인 일관성 확산 과정으로 오프라인 데이터셋으로부터 함께 학습하며 효과적으로 결합한다. 도메인 비특화 기술은 장기 지평 정책의 공통 행동 표현을 위한 기본 요소(primitives)로 작용하여, 서로 다른 도메인을 연결하는 공용 언어(lingua franca) 역할을 한다. 또한 문맥 내 적응 성능을 향상시키기 위해, 확산 기반 기술 어댑터가 목표 도메인과 더 잘 정렬(alignment)되도록 유도하는 동적 도메인 프롬프팅(dynamic domain prompting) 방식을 개발한다. Metaworld에서의 로봇 조작과 CARLA에서의 자율주행 실험을 통해, 본 ICPAD 프레임워크가 환경 역학, 에이전트 신체(embodiment), 과제의 지평(horizon) 차이를 포함하는 다양한 교차 도메인 구성에서, 목표 도메인 데이터가 제한된 조건 하에서도 우수한 정책 적응 성능을 달성함을 보여준다.

• 사용자 측면을 고려하면 과업 지향 대화 성능이 향상된다 • 대규모 언어 모델은 사용자 측면에 적응하지만, 소규모 모델은 측면 인식이 부족하다 • 대규모 언어 모델은 증류를 위한 측면 특화 합성 대화를 생성한다 • 대규모에서 소규모 언어 모델로 측면 인식 역량을 증류한다 대규모 언어 모델(LLM)을 활용한 대화 시스템 개발에 관한 연구는 광범위하게 진행되어 왔으며, 주로 LLM의 능력을 활용하여 문맥적으로 미묘한 응답을 생성하는 데 의존해 왔다. 그러나 이러한 접근법은 특히 과업 지향 대화(ToD) 시나리오에서, 대화 시스템이 인간과의 개인화된 상호작용에 참여해야 하는 상황에서는, 소규모 언어 모델(sLM)로의 전이가 용이하지 않다. 본 논문에서는 sLM 기반 ToD 시스템을 위한 LLM 증류(distillation) 접근법을 조사하고, Aspect-Augmented Dialogue Distillation(A2D2) 프레임워크를 제안한다. 이 프레임워크는 과업별 요구사항의 충족을 보장하면서, LLM의 인간 측면 인식 역량을 sLM에 압축하는 것을 목표로 한다. 해당 프레임워크는 LLM 기반 ToD 데이터 생성에 인간의 측면들을 개별적으로 통합하여 LLM-to-sLM 증류 과정의 효과성과 효율성을 향상시키며, 그 결과 다양한 사용자에게 적응 가능하고 과업 성공률이 더 높은 강건한 sLM 기반 ToD 시스템을 구축한다. A2D2를 통해 도출된 sLM 기반 ToD 시스템은, 새로운 과업 설정을 포함하여 다양한 ToD 시나리오에서 경쟁력 있는 성능을 보이며, 복수의 측면으로 특징지어지는 폭넓은 합성 사용자들에 적응함을 보여준다.

데이터 집약적 작업의 급속한 증가와 저장 장치에 서로 다른 하드웨어가 사용됨에 따라, 데이터센터의 운영 비용 효율을 개선하기 위해 분산형 저장(disaggregated storage) 아키텍처 시스템이 활용되고 있다. 분산형 저장 시스템의 하드웨어 이질성 및 혼합 구성과 더불어 다양한 워크로드의 존재는, 관리자들이 이를 최적으로 운영하는 데 어려움을 야기하는 경우가 많다. 본 연구에서는 셀프 관리형 저장 시스템에서 다양한 시스템 설정과 워크로드 전반에 걸쳐 저장 성능을 유지하면서 자동화된 시스템 운영을 개발하기 위한 모델 기반 강화학습(RL) 기법을 조사한다. 구체적으로, 시스템 환경을 저장 장치의 2계층 계층구조와 플랫폼의 관점에서 추상화하여, 주어진 시스템 사양에 따라 환경을 재구성할 수 있는 새로운 구성 가능(configurable) 모델 구조를 제안한다. 이러한 새로운 모델 구조를 기반으로, 우리는 CoMoRL이라는 구성 가능 모델 기반 RL 프레임워크를 구현하였으며, RL 에이전트는 다양한 저장 시스템 사양을 나타내는 모델 변형(model variants)을 통해 학습된다. 따라서 실제 저장 시스템의 다양한 운영 조건에 대해 학습된 관리 정책은 높은 강인성을 가질 수 있다. 우리는 NVMe-oF 장치에 의존하는 저장 클러스터를 사용하여 CoMoRL 프레임워크를 평가하고, Kubernetes의 볼륨 배치(volume placement) 시나리오와 Ceph의 주(prim ary) 애피니티(primary affinity) 제어 시나리오 등 서로 다른 시나리오에 프레임워크가 적응 가능함을 보여준다. 학습된 관리 정책은 모델 및 정책의 재학습 없이도, 다양한 Kubernetes 시스템 사양에 대해서는 IOPS 기반 휴리스틱 방법 대비 0.7%~5.1%, 모델 기반 방법 대비 11.8%~29.7% 더 우수하며, 다양한 Ceph 시스템 사양에 대해서는 각각 1.6%~5.6% 및 8.2%~16.5% 더 우수하다. 본 프레임워크의 제로샷(zero-shot) 적응 우수성은, 시스템 변경이 빈번한 데이터센터에서 RL 기반 셀프 관리형 저장 시스템을 구현할 수 있게 한다.

최근 AI 소프트웨어가 급속히 성장하고 있으며 금융, 의학, 로보틱스, 자율주행과 같은 다양한 산업 분야에서 널리 사용되고 있다. 요구사항에 따라 개발자들이 특정 기능과 규칙을 정의하고 구현해야 하는 전통적인 소프트웨어와 달리, AI 소프트웨어는 관련 데이터를 수집하고 학습함으로써 이러한 요구사항을 학습한다. 따라서 학습 데이터에 의도치 않은 편향이 존재하는 경우 AI 소프트웨어는 공정성과 안전성 측면의 문제를 야기할 수 있다. 이러한 과제를 해결하기 위해, 전통적인 성숙도 모델인 SPICE(ISO/IEC 15504) 내에서 공통적인 AI 프로세스와 공정성 특화 프로세스를 고려함으로써 신뢰할 수 있고 신뢰성 있는 AI 소프트웨어를 보장하기 위한 성숙도 모델인 AI-MM을 제안한다. AI-MM의 효과를 검증하기 위해, 본 연구는 13개의 실제 AI 프로젝트에 이 모델을 적용하였고 이에 대한 통계적 평가를 제공하였다. 그 결과는 AI-MM이 AI 프로젝트의 성숙도 수준을 효과적으로 측정할 뿐 아니라 성숙도 수준을 향상시키기 위한 실질적인 지침도 제공함을 보여준다.

본 연구에서는 장기 지평(multi-horizon) 다중과제 환경을 위한 문맥 내 정책 적응(in-context policy adaptation, ICPAD) 프레임워크를 제시하며, 교차 도메인 환경에서 확산 기반 기술(스킬) 학습 기법을 탐구한다. 이 프레임워크는 특히 모델 업데이트가 불가능하고 목표 도메인 데이터가 제한적인 엄격한 제약 하에서, 기술 기반 강화학습 정책을 다양한 목표 도메인에 대해 신속하게 적응할 수 있도록 한다. 구체적으로, 본 프레임워크는 교차 도메인 기술 확산(cross-domain skill diffusion) 방식을 활용하는데, 도메인 비특화(prototype) 기술과 도메인 기반(domain-grounded) 기술 어댑터를 교차 도메인 일관성 확산 과정으로 오프라인 데이터셋으로부터 함께 학습하며 효과적으로 결합한다. 도메인 비특화 기술은 장기 지평 정책의 공통 행동 표현을 위한 기본 요소(primitives)로 작용하여, 서로 다른 도메인을 연결하는 공용 언어(lingua franca) 역할을 한다. 또한 문맥 내 적응 성능을 향상시키기 위해, 확산 기반 기술 어댑터가 목표 도메인과 더 잘 정렬(alignment)되도록 유도하는 동적 도메인 프롬프팅(dynamic domain prompting) 방식을 개발한다. Metaworld에서의 로봇 조작과 CARLA에서의 자율주행 실험을 통해, 본 ICPAD 프레임워크가 환경 역학, 에이전트 신체(embodiment), 과제의 지평(horizon) 차이를 포함하는 다양한 교차 도메인 구성에서, 목표 도메인 데이터가 제한된 조건 하에서도 우수한 정책 적응 성능을 달성함을 보여준다.

• 사용자 측면을 고려하면 과업 지향 대화 성능이 향상된다 • 대규모 언어 모델은 사용자 측면에 적응하지만, 소규모 모델은 측면 인식이 부족하다 • 대규모 언어 모델은 증류를 위한 측면 특화 합성 대화를 생성한다 • 대규모에서 소규모 언어 모델로 측면 인식 역량을 증류한다 대규모 언어 모델(LLM)을 활용한 대화 시스템 개발에 관한 연구는 광범위하게 진행되어 왔으며, 주로 LLM의 능력을 활용하여 문맥적으로 미묘한 응답을 생성하는 데 의존해 왔다. 그러나 이러한 접근법은 특히 과업 지향 대화(ToD) 시나리오에서, 대화 시스템이 인간과의 개인화된 상호작용에 참여해야 하는 상황에서는, 소규모 언어 모델(sLM)로의 전이가 용이하지 않다. 본 논문에서는 sLM 기반 ToD 시스템을 위한 LLM 증류(distillation) 접근법을 조사하고, Aspect-Augmented Dialogue Distillation(A2D2) 프레임워크를 제안한다. 이 프레임워크는 과업별 요구사항의 충족을 보장하면서, LLM의 인간 측면 인식 역량을 sLM에 압축하는 것을 목표로 한다. 해당 프레임워크는 LLM 기반 ToD 데이터 생성에 인간의 측면들을 개별적으로 통합하여 LLM-to-sLM 증류 과정의 효과성과 효율성을 향상시키며, 그 결과 다양한 사용자에게 적응 가능하고 과업 성공률이 더 높은 강건한 sLM 기반 ToD 시스템을 구축한다. A2D2를 통해 도출된 sLM 기반 ToD 시스템은, 새로운 과업 설정을 포함하여 다양한 ToD 시나리오에서 경쟁력 있는 성능을 보이며, 복수의 측면으로 특징지어지는 폭넓은 합성 사용자들에 적응함을 보여준다.

데이터 집약적 작업의 급속한 증가와 저장 장치에 서로 다른 하드웨어가 사용됨에 따라, 데이터센터의 운영 비용 효율을 개선하기 위해 분산형 저장(disaggregated storage) 아키텍처 시스템이 활용되고 있다. 분산형 저장 시스템의 하드웨어 이질성 및 혼합 구성과 더불어 다양한 워크로드의 존재는, 관리자들이 이를 최적으로 운영하는 데 어려움을 야기하는 경우가 많다. 본 연구에서는 셀프 관리형 저장 시스템에서 다양한 시스템 설정과 워크로드 전반에 걸쳐 저장 성능을 유지하면서 자동화된 시스템 운영을 개발하기 위한 모델 기반 강화학습(RL) 기법을 조사한다. 구체적으로, 시스템 환경을 저장 장치의 2계층 계층구조와 플랫폼의 관점에서 추상화하여, 주어진 시스템 사양에 따라 환경을 재구성할 수 있는 새로운 구성 가능(configurable) 모델 구조를 제안한다. 이러한 새로운 모델 구조를 기반으로, 우리는 CoMoRL이라는 구성 가능 모델 기반 RL 프레임워크를 구현하였으며, RL 에이전트는 다양한 저장 시스템 사양을 나타내는 모델 변형(model variants)을 통해 학습된다. 따라서 실제 저장 시스템의 다양한 운영 조건에 대해 학습된 관리 정책은 높은 강인성을 가질 수 있다. 우리는 NVMe-oF 장치에 의존하는 저장 클러스터를 사용하여 CoMoRL 프레임워크를 평가하고, Kubernetes의 볼륨 배치(volume placement) 시나리오와 Ceph의 주(prim ary) 애피니티(primary affinity) 제어 시나리오 등 서로 다른 시나리오에 프레임워크가 적응 가능함을 보여준다. 학습된 관리 정책은 모델 및 정책의 재학습 없이도, 다양한 Kubernetes 시스템 사양에 대해서는 IOPS 기반 휴리스틱 방법 대비 0.7%~5.1%, 모델 기반 방법 대비 11.8%~29.7% 더 우수하며, 다양한 Ceph 시스템 사양에 대해서는 각각 1.6%~5.6% 및 8.2%~16.5% 더 우수하다. 본 프레임워크의 제로샷(zero-shot) 적응 우수성은, 시스템 변경이 빈번한 데이터센터에서 RL 기반 셀프 관리형 저장 시스템을 구현할 수 있게 한다.

최근 AI 소프트웨어가 급속히 성장하고 있으며 금융, 의학, 로보틱스, 자율주행과 같은 다양한 산업 분야에서 널리 사용되고 있다. 요구사항에 따라 개발자들이 특정 기능과 규칙을 정의하고 구현해야 하는 전통적인 소프트웨어와 달리, AI 소프트웨어는 관련 데이터를 수집하고 학습함으로써 이러한 요구사항을 학습한다. 따라서 학습 데이터에 의도치 않은 편향이 존재하는 경우 AI 소프트웨어는 공정성과 안전성 측면의 문제를 야기할 수 있다. 이러한 과제를 해결하기 위해, 전통적인 성숙도 모델인 SPICE(ISO/IEC 15504) 내에서 공통적인 AI 프로세스와 공정성 특화 프로세스를 고려함으로써 신뢰할 수 있고 신뢰성 있는 AI 소프트웨어를 보장하기 위한 성숙도 모델인 AI-MM을 제안한다. AI-MM의 효과를 검증하기 위해, 본 연구는 13개의 실제 AI 프로젝트에 이 모델을 적용하였고 이에 대한 통계적 평가를 제공하였다. 그 결과는 AI-MM이 AI 프로젝트의 성숙도 수준을 효과적으로 측정할 뿐 아니라 성숙도 수준을 향상시키기 위한 실질적인 지침도 제공함을 보여준다.

진단을 돕기 위한 의료 데이터 및 영상의 자동 분석은 최근 딥러닝 적용 분야에서 주요한 연구 영역이 되었다. 일반적으로 딥러닝 기법은 모델 훈련을 위한 충분히 큰 규모의 고품질 데이터셋이 이용 가능할 때 효과적일 수 있다. 따라서, 적절한 수의 잘 주석된 고품질 훈련 샘플을 확보하는 데 상당한 비용과 노력이 필요하다는 점에서, 특히 의료 영상 분석 분야에서는 샘플 효율적인 학습 기법에 대한 필요성이 제기된다. 본 논문에서는 샘플 부족 하에서의 딥 신경망 훈련 문제를 다루기 위해 여러 샘플 효율적인 딥러닝 기법을 조사한다. 우리는 이러한 기법을 피부 화상 이미지 분석 및 분류에 적용하는 데에 초점을 둔다. 먼저 피부 화상 영상에 대한 대규모의 전문적으로 주석된 데이터셋을 구축하여, 화상 중증도 평가를 위한 정밀한 성능의 합성곱 신경망(CNN) 모델 수립을 가능하게 한다. 그 다음 데이터 제한 조건을 의도적으로 설정하고, 전이 학습(TL), 자기지도 학습(SSL), 연합 학습(FL), 생성적 적대 신경망(GAN) 기반 데이터 증강과 같은 몇 가지 샘플 효율적인 기법을 해당 조건에 맞게 적용한다. 포괄적인 실험을 통해 화상 중증도 평가에서의 샘플 효율적인 딥러닝 기법을 평가하였으며, 특히 작은 과제-특화 데이터셋에서 학습한 SSL 모델이 여섯 배 더 큰 데이터셋에서 학습한 기준 모델과 비교 가능한 정확도를 달성할 수 있음을 보인다. 또한 딥러닝 모델이 채택되는 의료 및 보건 분야에서 흔히 발생하는 서로 다른 데이터 제한 조건 하에서 FL 및 GAN이 모델 훈련에 적용 가능함을 함께 입증한다.

대규모 언어 모델(LLM) 기반 에이전트는 스마트 홈에서의 의도 해석을 위한 강력한 자연어 이해 기능을 제공하지만, 일반적으로 클라우드 배포가 필요하여 프라이버시, 지연(latency), 자원 사용에 대한 우려가 제기된다. sLLM은 온디바이스에서 실행할 수 있으나, 모호한 의도와 복잡한 기기 상호작용을 효과적으로 처리하는 데 필요한 구조화된 맥락적 지식이 부족하다. 이러한 한계를 해결하기 위해, 우리는 sLLM과 상식 기반 기기 지식 및 사용자별 맥락을 결합하고 이를 구조화된 온톨로지 기반 지식 그래프 내에 구성하는 온톨로지 보강형(onology-augmented) 온디바이스 의도 추론 프레임워크 CIDER를 제시한다. 구체적으로, 우리는 스마트 홈을 위한 온톨로지 구축 파이프라인을 개발하였으며, 이 파이프라인은 클라우드 기반 LLM을 활용하여 스마트 홈 기기에 대한 상식 지식을 추출하고 이를 조직화하고, 스마트 홈 서비스로부터 사용자별 맥락을 통합한다. 이렇게 생성된 온톨로지는 검색 증강(retrieval-augmented) 방식으로 sLLM의 의도 추론 과정을 보강하는 외부 지식 소스로서 기능하여, 자율적이고 오케스트레이션된 기기 운영을 위한 맥락 인지 추론을 가능하게 한다. SmartThings 기반 테스트베드에서의 평가에서 CIDER는 일반 시나리오에서 82.2%, 고도로 복잡한 가정 환경에서 76.6%의 성공률을 달성하였으며, 소형 온디바이스 sLLM을 사용함에도 불구하고 강력한 클라우드 기반 기준선 대비 최대 17.7 퍼센트포인트까지 성능이 우수하였다. 이러한 결과는 클라우드 기반 LLM으로부터 증류된 온톨로지에 의해 구동되어, 상징적 지식 표현의 해당 도메인 특화 효율성과 sLLM의 유연한 의미 처리 기능을 결합하는 것이 스마트 홈에서의 의도 이해를 위한 효과적인 접근임을 보여준다.

본 연구는 동적이며 비정상적(non-stationary) 환경에서 보행(embodied) 에이전트의 지속적 명령 수행(continual instruction following) 과제를 다루기 위해 고안된 탐색적 검색-증강 계획(Exploratory Retrieval-Augmented Planning, ExRAP) 프레임워크를 제시한다. 이 프레임워크는 물리적 환경을 효율적으로 탐색하고 환경 컨텍스트 메모리를 수립함으로써, 대규모 언어 모델(Large Language Models, LLM)의 보행 기반 추론 능력을 향상시키며, 시간에 따라 변동하는 환경 컨텍스트에 과제 계획 과정을 효과적으로 정합(grounding)할 수 있게 한다. ExRAP에서는 여러 지속적 명령 수행 과제가 주어지면, 각 명령을 환경 컨텍스트 메모리에 대한 질의(query)와 해당 질의 결과에 조건화된 과제 실행(task executions)으로 분해한다. 연속적이고 동시에 수행되는 다수의 과제를 효율적으로 처리하기 위해, LLM 기반 계획 과정에 {information-based exploration}을 통합함으로써 탐색-통합 과제 계획(exploration-integrated task planning) 방식을 구현한다. 메모리-증강 질의 평가(memory-augmented query evaluation)와 결합된 이 통합 방식은 환경 컨텍스트 메모리의 타당성과 환경 탐색의 부담 사이의 균형을 더 잘 맞출 뿐 아니라, 전반적인 과제 성능을 향상시킨다. 또한 메모리에 내재된 지식의 감쇠(decay)를 해결하기 위해 질의 평가를 위한 {temporal consistency refinement} 방식도 고안한다. VirtualHome, ALFRED, CARLA에서의 실험을 통해, 본 접근법은 서로 다른 명령 규모와 유형, 그리고 비정상성 정도를 포함하는 다양한 보행 기반 명령 수행 시나리오에 대해 견고성을 보였으며, 목표 성공률과 실행 효율성 모두에서 다른 최신(state-of-the-art) LLM 기반 과제 계획 접근법을 일관되게 능가함을 확인하였다.

우리는 대규모 추론 엔진 또는 상징적 플래너에 대한 온라인 접근이 지연, 연결성 및 자원 제약으로 인해 제한되는 동적 환경에서, 언어 모델(LM)을 구체화된(embodied) 과제에 채택하는 데 따르는 문제를 다룬다. 이를 위해 우리는 신경상징적 절차화(neurosymbolic proceduralization)를 통해 지식을 컴파일하는 새로운 구체화 추론 프레임워크인 NeSyPr를 제시하며, 이를 통해 LM 기반 에이전트에 구조화되고 적응적이며 시의적절한 추론 능력을 갖추게 한다. NeSyPr에서 과제별 계획은 먼저 선언적 지식을 활용하는 상징적 도구에 의해 명시적으로 생성된다. 이후 이러한 계획은 계획의 암묵적 생성 규칙을 인코딩하는 조합 가능한 절차적 표현(composable procedural representations)으로 변환되며, 그 결과로 구성된 절차는 LM의 추론 과정에 원활하게 통합될 수 있다. 이러한 신경상징적 절차화는 다단계의 상징적 구조화 경로 탐색 및 추론을 단일 단계 LM 추론으로 추상화하고 일반화하는데, 이는 인간의 지식 컴파일과 유사하다. NeSyPr는 외부의 상징적 지침에 의존하지 않고도 테스트 시 추론을 효율적으로 수행할 수 있어, 지연에 민감하고 자원이 제한된 물리 시스템에 배치하기에 적합하다. 우리는 NeSyPr를 구체화된 벤치마크인 PDDLGym, VirtualHome, ALFWorld에서 평가하였으며, 대규모 추론 모델 및 상징적 플래너에 비해 효율적인 추론 능력을 보이면서도 더 소형의 LM을 사용함을 입증한다.

본 연구에서는 장기 지평 다중 작업 환경을 대상으로 한 맥락 내 정책 적응(in-context policy adaptation, ICPAD) 프레임워크를 제안하며, 교차 도메인 환경에서 확산 기반 기술 학습(diffusion-based skill learning) 기법을 탐구한다. 이 프레임워크는 특히 모델 업데이트가 불허되고 표적 도메인 데이터가 제한적인 엄격한 제약 하에서도, 기술 기반 강화학습 정책을 다양한 표적 도메인에 신속히 적응할 수 있도록 한다. 구체적으로, 이 프레임워크는 교차 도메인 기술 확산(cross-domain skill diffusion) 방식을 활용하는데, 도메인 비의존적(prototype) 프로토타입 기술과 도메인 기반(domain-grounded) 기술 어댑터를 교차 도메인 일관성 확산 과정(cross-domain consistent diffusion processes)을 통해 오프라인 데이터셋으로부터 함께 학습한다. 프로토타입 기술은 장기 지평 정책의 공통 행태 표현에 대한 구성 요소(primitive)로 작용하며, 서로 다른 도메인을 연결하는 공용어(lingua franca) 역할을 한다. 또한 맥락 내 적응 성능을 향상시키기 위해, 확산 기반 기술 어댑터가 표적 도메인과 더 잘 정렬되도록 유도하는 동적 도메인 프롬프팅(dynamic domain prompting) 방식을 개발한다. Metaworld에서의 로봇 조작과 CARLA에서의 자율주행에 대한 실험을 통해, 환경 동역학, 에이전트 신체(embodiment), 작업 지평(task horizon)의 차이를 포함하는 다양한 교차 도메인 구성에서 제한된 표적 도메인 데이터 조건 하에 $extoursol$ 프레임워크가 우수한 정책 적응 성능을 달성함을 보인다.