Diffusion 기반 로봇·인간 모션 예측 및 생성

Diffusion-Based Motion Prediction and Generation for Robots and Humans

연구 내용

Diffusion 확률모형과 대조학습 기반 표현을 활용해 로봇 및 인간의 미래 모션·시각 장면을 예측·생성하는 연구

로봇이 환경 변화와 자신의 행동을 함께 이해하도록, diffusion 확률모형과 멀티모달 학습을 결합한 생성 프레임워크를 연구합니다. 관측된 모션으로부터 미래 3D 동작의 단일 및 다중 예측을 수행하고, proprioception과 시각 정보를 같은 잠재공간에 정렬해 장기 미래 장면을 생성하는 방향을 다룹니다. 또한 모션 리타게팅을 위한 robot-human 페어 데이터 수집과 이상 자세 필터링을 통해 데이터 품질을 개선합니다. 이를 통해 조건부 모션 계획과 표현형 동작 생성으로 확장 가능한 기반을 확보합니다.

관련 프로젝트

3건

연구 흐름

초기에는 diffusion 확률모형을 3D 인간 모션 예측에 적용해 예측의 확률성과 다양성을 함께 고려하는 방향을 검증합니다. 이후 proprioception과 시각 정보를 대조학습으로 정렬해 로봇 월드 모델에서 장기 미래 장면을 생성하고, 시각 기반 상상에 기반한 계획으로 연결하는 흐름을 전개합니다. 동시에 휴머노이드 리타게팅을 위해 상체 paired pose 데이터의 수집·필터링과 이중 단계 신경망 학습을 제안하며 데이터 중심 성능 향상 전략을 강화합니다. 최근에는 음악-동작 관계를 보상모델로 학습해 비휴머노이드 표현형 모션 생성으로 범위를 넓히고 있습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

장기 미래 시각 예측 기반 로봇 경로 계획
조건부 3D 동작 생성 및 안정적 재현
휴머노이드 모션 리타게팅 자동화
로봇 시뮬레이션용 world model 구축
훈련 데이터 품질 개선을 위한 페어링 전략
음악-동작 동기화 기반 표현형 인터페이스
정량 데이터 필터링을 통한 성능 향상
다중 가능성 예측을 활용한 안전 계획
로봇의 상상 기반 의사결정 모듈
보상모델 기반 동작 학습 파이프라인