Humanoid Generalization (HuGe) lab
김재철AI대학원 김범준
HuGe 연구실은 범용 휴머노이드 로봇의 일반화와 의사결정 능력 향상을 목표로 첨단 인공지능 및 로보틱스 기술을 융합한 연구를 수행하고 있습니다. 본 연구실은 복잡하고 비정형적인 환경에서 로봇이 인간과 유사한 수준의 적응력과 유연성을 발휘할 수 있도록 다양한 알고리즘과 시스템을 개발하고 있습니다.
특히, 강화학습, 딥러닝, 대규모 언어모델(LLM) 등 최신 AI 기술을 활용하여 로봇이 언어 명령을 이해하고, 일상생활에서 필요한 상식 기반의 추론과 행동을 수행할 수 있도록 하는 연구가 활발히 이루어지고 있습니다. 이를 통해 로봇이 단순 반복 작업을 넘어, 실제 환경에서 다양한 작업을 자율적으로 수행할 수 있는 기반을 마련하고 있습니다.
또한, 과제 및 동작 계획(Task and Motion Planning, TAMP) 분야에서의 선도적인 연구를 통해, 로봇이 복잡한 작업을 효율적으로 계획하고 실행할 수 있는 알고리즘을 개발하고 있습니다. 대규모 언어모델과의 융합을 통해 플래닝의 효율성과 일반화 능력을 동시에 높이고, 실제 환경에서의 적용 가능성을 검증하고 있습니다.
비접촉 및 다접촉 기반의 로봇 조작, 시뮬레이션 기반 실험, Sim-to-Real 전이 등 다양한 연구 주제를 통해 로봇이 기존에 다루기 어려웠던 물체나 환경에서도 안정적으로 작업을 수행할 수 있도록 하고 있습니다. 이러한 연구는 물류, 제조, 서비스, 의료 등 다양한 산업 분야에서의 로봇 활용도를 높이는 데 기여하고 있습니다.
HuGe 연구실은 앞으로도 인간과 자연스럽게 협력할 수 있는 지능형 로봇의 실현을 목표로, 학제 간 융합 연구와 실제 적용을 위한 실험적 접근을 지속적으로 이어갈 계획입니다.
Quadrupedal Robot Manipulation
Robotic Learning Datasets
SO(3)-Equivariant Networks
로봇의 일반화 및 휴머노이드 의사결정
HuGe 연구실은 복잡한 환경에서 효율적으로 의사결정을 내릴 수 있는 범용 휴머노이드 로봇의 개발에 중점을 두고 있습니다. 기존의 로봇 시스템은 특정 작업이나 환경에 최적화되어 있어 새로운 상황에 직면했을 때 유연하게 대처하기 어렵다는 한계가 있습니다. 본 연구실은 이러한 한계를 극복하기 위해 다양한 환경과 작업에 적응할 수 있는 일반화 능력을 갖춘 로봇을 연구합니다.
특히, 강화학습, 딥러닝, 대규모 언어모델(LLM) 등 최신 인공지능 기술을 활용하여 로봇이 인간과 유사한 방식으로 상황을 이해하고, 복잡한 의사결정 과정을 수행할 수 있도록 합니다. 예를 들어, 언어 명령을 이해하고, 비정형 환경에서 다양한 물체를 조작하거나, 사람과 상호작용하는 능력을 갖춘 휴머노이드 개발이 주요 목표입니다. 이를 위해 시뮬레이션과 실제 환경 모두에서 실험을 진행하며, 로봇이 실제로 다양한 상황에 적응하는지 검증합니다.
이러한 연구는 로봇이 단순 반복 작업을 넘어, 일상생활 지원, 재난 구조, 고령자 돌봄 등 다양한 사회적 요구에 부응할 수 있도록 하는 데 기여합니다. 궁극적으로는 인간과 자연스럽게 협력할 수 있는 지능형 로봇의 실현을 목표로 하고 있습니다.
과제 및 동작 계획을 위한 인공지능 기반 로봇 플래닝
HuGe 연구실은 로봇이 복잡한 환경에서 다양한 작업을 수행할 수 있도록 하는 과제 및 동작 계획(Task and Motion Planning, TAMP) 알고리즘 개발에 집중하고 있습니다. TAMP는 로봇이 여러 개의 물체를 이동시키거나, 장애물을 피하면서 목표를 달성하는 등 복합적인 문제를 해결하는 데 필수적인 기술입니다. 본 연구실은 전통적인 휴리스틱 기반 방법뿐만 아니라, 데이터 기반 학습 알고리즘을 결합하여 플래닝의 효율성과 일반화 능력을 동시에 높이고자 합니다.
최근에는 대규모 언어모델(LLM)을 활용하여 로봇 플래닝에 인간의 상식과 직관을 접목하는 연구도 활발히 진행 중입니다. 예를 들어, LLM이 제공하는 상식적 지식을 기반으로 로봇이 어떤 물체를 먼저 조작해야 할지, 어떤 경로를 선택해야 할지 결정하도록 하는 방식입니다. 또한, 시뮬레이션과 실제 환경에서의 실험을 통해 플래닝 알고리즘의 성능을 검증하고, 다양한 환경 변화에 강인한 플래너를 개발하고 있습니다.
이러한 연구는 로봇이 실제 환경에서 신속하고 안전하게 작업을 수행할 수 있도록 하며, 산업 현장, 가정, 의료 등 다양한 응용 분야에서의 활용 가능성을 높이고 있습니다. 더불어, 로봇의 자율성과 지능을 한 단계 끌어올리는 데 중요한 역할을 하고 있습니다.
비접촉 및 다접촉 로봇 조작과 시뮬레이션
HuGe 연구실은 비접촉(Nonprehensile) 및 다접촉(다중 접촉점) 기반의 로봇 조작 기술 개발에도 많은 노력을 기울이고 있습니다. 기존의 로봇 조작은 주로 집게나 손과 같은 그리퍼를 이용한 집기(prehensile manipulation)에 집중되어 있었으나, 본 연구실은 로봇이 물체를 미는(push), 굴리는(roll), 혹은 몸 전체를 이용해 조작하는 등 다양한 방식의 비접촉 조작을 연구합니다.
특히, 사물의 형태나 질량, 마찰 등 다양한 물리적 특성을 고려하여 로봇이 실제 환경에서 안정적으로 물체를 다룰 수 있도록 하는 알고리즘을 개발합니다. 이를 위해 심층 강화학습, 시뮬레이션 기반 데이터 생성, 실제 로봇 실험 등 다양한 방법론을 적용하고 있습니다. 또한, GPU 기반 시뮬레이터를 활용하여 복잡한 비정형 물체의 충돌 및 상호작용을 효율적으로 예측하는 기술도 연구 중입니다.
이러한 연구는 로봇이 기존에 다루기 어려웠던 크고 무거운 물체, 혹은 불규칙한 형태의 사물을 효과적으로 조작할 수 있게 하며, 물류, 제조, 서비스 로봇 등 다양한 산업 분야에서의 활용도를 높이고 있습니다. 더불어, 시뮬레이션과 실제 환경 간의 차이를 극복하는 Sim-to-Real 전이 기술도 함께 연구하여, 실용적인 로봇 조작 시스템 개발에 앞장서고 있습니다.
1
PRESTO: Fast motion planning using diffusion models based on key-configuration environment representation.
Mingyo Seo, Yoonyoung Cho, Yoonchang Sung, Peter Stone, Yuke Zhu, Beomjoon Kim
, 2025
2
Prime the Search: Using Large Language Models for Guiding Geometric Task and Motion Planning by Warm-starting Tree Search.
Dongryung Lee*, Sejune Joo*, Kimin Lee, Beomjoon Kim
International Journal of Robotics Research (IJRR), 2025
3
CORN: Contact-based Object Representation for Nonprehensile Manipulation of General Unseen Objects
Yoonyoung Cho, Junhyek Han, Yoontae Cho, Beomjoon Kim
International Conference on Learning Representations (ICLR), 2024
1
(통합EZ)비정형 인간 환경에서 언어 명령을 이해하고 수행할 수 있는 학습 기반 휴머노이드를 위한 파운데이션 모델 개발(2024년도)
2
(통합EZ)일상생활에서 필요한 상식을 기반으로 새로운 사실을 추론하며 이해하는 인공지능 기술 개발(2024년도)
3
어르신 생활지원을 위한 자연어 소통 가능 로보틱 어시스턴트 기반기술 연구(2023년도)
