최근의 로봇 작업 계획자들은 실패 탐지(failure detector)로서 대규모 언어 모델(LLMs) 또는 비전-언어 모델(VLMs)을 활용한다. 이러한 방법들은 의미적 추론 능력을 활용함으로써 성능을 잘 발휘하지만, 대체로 환경을 충분히 이해하고 있다는 가정을 전제로 하여, 명시적인 구조적 모델링이 없는 복잡한 장면에서는 신뢰할 수 없는 계획으로 이어질 수 있다. 이러한 한계를 해결하기 위해, 본 연구는 객체 수준의 관계를 명시적으로 모델링하는 새로운 다중 뷰 장면 이해 프레임워크를 제안하며, 이를 통해 실패 탐지와 효과적인 작업 재계획을 가능하게 한다. 우리의 접근은 먼저 포괄적인 커버리지를 위해 다중 뷰 이미지를 획득하고, 객체 정체성과 관계 정보를 인코딩하는 로컬 2D 장면 그래프를 생성한다. 이를 바탕으로, 로컬 2D 장면 그래프들을 하나의 통합 표현으로 결합하는 그래프 신경망 기반 모델을 도입한다. 이 과정은 통합 장면 그래프를 생성하며, 이를 사용하여 작업 성공 여부를 판별하고 실패 원인을 식별한다. 각 하위 작업에 대해, 본 프레임워크는 작업 계획 단계에서 LLM이 예측한 기대 장면 그래프와 통합 장면 그래프를 비교하고, 두 그래프 간의 일탈(deviations)에 근거하여 잠재적 실패 원인을 식별한다. 이후 이러한 원인들을 LLM에 다시 입력하여 효과적인 재계획을 돕고, 반복적 실패를 줄이며 적응성을 향상시킨다. 우리는 다섯 개의 실제 환경 기반 벤치마크 작업에서 본 프레임워크의 적용 가능성을 입증한다. 또한 실패 탐지 및 추론 성능을 다른 방법들과 별도로 비교하여, 다중 뷰 인식과 명시적 그래프 기반 추론을 결합할 때의 이점을 보여준다. 추가 정보는 https://sites.google.com/view/scrutinize-robot-manipulation에서 확인할 수 있다.

본 논문에서는 RGB-D 카메라만을 사용하여 탁상 정리(tabletop tidying up) 문제를 해결하도록 설계된 새로운 프레임워크인 정리도(tidiness score) 기반 몬테카를로 트리 탐색(TSMCTS; tidiness score-guided Monte Carlo tree search)을 제시한다. 우리는 탁상 정리 문제에 대한 두 가지 주요 문제를 다룬다: (1) 공개 데이터셋 및 벤치마크의 부재, 그리고 (2) 보지 못한 물체들의 목표 구성(goal configuration)을 명시하는 데 따르는 어려움이다. 전자의 문제를 해결하기 위해 시뮬레이션에서 수집된 구조화된 데이터셋인 탁상 정리(TTU; tabletop tidying up) 데이터셋을 제시한다. 이 데이터셋을 사용하여 정리도를 예측할 수 있는 비전 기반 판별기(discriminator)를 학습한다. 이 판별기는 실제 환경 장면을 포함하여, 보지 못한 구성 전반에 걸쳐 정리도의 정도를 일관되게 평가할 수 있다. 두 번째 문제를 해결하기 위해, 명시적 목표를 지정하지 않고도 정리 궤적(tidying trajectories)을 찾기 위해 몬테카를로 트리 탐색(MCTS; Monte Carlo tree search)을 사용한다. 구체적인 목표를 제공하는 대신, 정리도 점수를 지침(guidance)으로 활용하는 MCTS 기반 계획(planner)이 다양한 정리된 구성을 찾을 수 있음을 보여준다. 그 결과, 정리도 판별기와 MCTS 기반 정리 계획기를 통합하여 최적의 정리된 배치를 찾는 TSMCTS를 제안한다. TSMCTS는 커피 테이블, 식탁, 사무용 책상, 욕실을 포함한 다양한 환경에서 그 수행 능력을 성공적으로 입증하였다. TTU 데이터셋은 다음에서 제공된다: https://github.com/rllab-snu/TTU-Dataset.

최근의 로봇 작업 계획자들은 실패 탐지(failure detector)로서 대규모 언어 모델(LLMs) 또는 비전-언어 모델(VLMs)을 활용한다. 이러한 방법들은 의미적 추론 능력을 활용함으로써 성능을 잘 발휘하지만, 대체로 환경을 충분히 이해하고 있다는 가정을 전제로 하여, 명시적인 구조적 모델링이 없는 복잡한 장면에서는 신뢰할 수 없는 계획으로 이어질 수 있다. 이러한 한계를 해결하기 위해, 본 연구는 객체 수준의 관계를 명시적으로 모델링하는 새로운 다중 뷰 장면 이해 프레임워크를 제안하며, 이를 통해 실패 탐지와 효과적인 작업 재계획을 가능하게 한다. 우리의 접근은 먼저 포괄적인 커버리지를 위해 다중 뷰 이미지를 획득하고, 객체 정체성과 관계 정보를 인코딩하는 로컬 2D 장면 그래프를 생성한다. 이를 바탕으로, 로컬 2D 장면 그래프들을 하나의 통합 표현으로 결합하는 그래프 신경망 기반 모델을 도입한다. 이 과정은 통합 장면 그래프를 생성하며, 이를 사용하여 작업 성공 여부를 판별하고 실패 원인을 식별한다. 각 하위 작업에 대해, 본 프레임워크는 작업 계획 단계에서 LLM이 예측한 기대 장면 그래프와 통합 장면 그래프를 비교하고, 두 그래프 간의 일탈(deviations)에 근거하여 잠재적 실패 원인을 식별한다. 이후 이러한 원인들을 LLM에 다시 입력하여 효과적인 재계획을 돕고, 반복적 실패를 줄이며 적응성을 향상시킨다. 우리는 다섯 개의 실제 환경 기반 벤치마크 작업에서 본 프레임워크의 적용 가능성을 입증한다. 또한 실패 탐지 및 추론 성능을 다른 방법들과 별도로 비교하여, 다중 뷰 인식과 명시적 그래프 기반 추론을 결합할 때의 이점을 보여준다. 추가 정보는 https://sites.google.com/view/scrutinize-robot-manipulation에서 확인할 수 있다.

본 논문에서는 RGB-D 카메라만을 사용하여 탁상 정리(tabletop tidying up) 문제를 해결하도록 설계된 새로운 프레임워크인 정리도(tidiness score) 기반 몬테카를로 트리 탐색(TSMCTS; tidiness score-guided Monte Carlo tree search)을 제시한다. 우리는 탁상 정리 문제에 대한 두 가지 주요 문제를 다룬다: (1) 공개 데이터셋 및 벤치마크의 부재, 그리고 (2) 보지 못한 물체들의 목표 구성(goal configuration)을 명시하는 데 따르는 어려움이다. 전자의 문제를 해결하기 위해 시뮬레이션에서 수집된 구조화된 데이터셋인 탁상 정리(TTU; tabletop tidying up) 데이터셋을 제시한다. 이 데이터셋을 사용하여 정리도를 예측할 수 있는 비전 기반 판별기(discriminator)를 학습한다. 이 판별기는 실제 환경 장면을 포함하여, 보지 못한 구성 전반에 걸쳐 정리도의 정도를 일관되게 평가할 수 있다. 두 번째 문제를 해결하기 위해, 명시적 목표를 지정하지 않고도 정리 궤적(tidying trajectories)을 찾기 위해 몬테카를로 트리 탐색(MCTS; Monte Carlo tree search)을 사용한다. 구체적인 목표를 제공하는 대신, 정리도 점수를 지침(guidance)으로 활용하는 MCTS 기반 계획(planner)이 다양한 정리된 구성을 찾을 수 있음을 보여준다. 그 결과, 정리도 판별기와 MCTS 기반 정리 계획기를 통합하여 최적의 정리된 배치를 찾는 TSMCTS를 제안한다. TSMCTS는 커피 테이블, 식탁, 사무용 책상, 욕실을 포함한 다양한 환경에서 그 수행 능력을 성공적으로 입증하였다. TTU 데이터셋은 다음에서 제공된다: https://github.com/rllab-snu/TTU-Dataset.

주어진 과제를 성공적으로 수행하기 위해 근육의 힘을 적절히 조절하는 것은 인간의 본성에 해당한다. 이러한 제어 능력을 로봇으로 이전하는 문제는 연구자들 사이에서 큰 관심사였으나, 시각적 관찰만을 바탕으로 로봇이 임피던스 제어를 학습하도록 만드는 시도는 이루어지지 않았다. 오히려 원격 임피던스(tele-impedance) 연구는 일반적으로 EMG 센서와 같은 특수 장치에 의존해 왔는데, 이는 접근성이 낮고 단순 RGB 웹캠에 비해 일반화 능력도 떨어진다. 본 서신에서는 제안된 대략적 추정 근활성(muscle activation) 패턴에 기반한, 비전 기반 로봇 원격 임피던스 제어 시스템을 제안한다. 이러한 패턴은 입력으로서 저렴한 상용 웹캠의 RGB 이미지를 사용하는 제안된 딥러닝 기반 모델로부터 얻어진다. 특히, 우리의 모델은 사람들이 근육에 어떤 가시적 표식을 부착할 필요가 없다는 점이 주목할 만하다. 실험 결과에 따르면, 우리의 모델은 로봇이 특정 과제를 성공적으로 수행하기 위해 인간이 근육 힘을 어떻게 조절하는지를 모방할 수 있게 해준다. 비록 우리의 실험은 원격 임피던스 제어에 초점을 맞추고 있으나, 본 시스템은 또한 성공적인 과제 수행을 위해 가변 강성 제어(variable stiffness control)의 정보를 통합하는, 시연으로부터의 비전 기반 학습을 개선하기 위한 기초(baseline)를 제공할 수 있다.

서론: 폐쇄성 수면무호흡증(obstructive sleep apnea, OSA) 진단은 전통적으로 수면다원검사(polysomnography, PSG)에 의존해 왔으나, PSG는 비용이 높고 불편하며 수면검사실 필요 및 긴 대기시간으로 인해 접근성이 제한적이다. 스마트워치, 링, 흉부 착용 센서와 같은 인공지능(AI) 기반 무선 웨어러블 기기들이 이러한 제한을 해결하기 위한 유망한 대안으로 부상하고 있다. 그러나 대부분의 웨어러블 기기에는 정확한 OSA 사건(event) 탐지의 핵심 지표인 호흡 신호, 체위, 움직임에 대한 직접 측정이 결여되어 있다. 본 연구는 무선 복부 착용 센서(Soomirang 기기)가 수집한 데이터를 이용하여 중등도~중증 OSA를 탐지하기 위한 자동화된 딥러닝 기반 알고리즘을 제시한다. 해당 기기는 호흡 노력과 유사한 데이터 측정을 위한 용량성(captitive) 센서와 3축 가속도계를 통합한다. 방법: OSA가 의심되는 200명의 참가자가 하룻밤 동안 검사실 내 PSG를 시행받았고, 복부 착용 센서에서 동시에 데이터를 수집하였다(샘플링 레이트: 5 Hz). 수면 전문 임상의가 PSG 데이터를 수기 채점하였으며, OSA 중증도는 무호흡-저호흡 지수(apnea-hypopnea index, AHI)에 따라 분류하였다. 중등도~중증 OSA는 AHI ≥ 15로 정의하였다. 호흡 노력과 유사한 신호와 3축 가속도계 데이터를 PSG 데이터와 동기화한 뒤 전처리하고 무호흡 또는 정상으로 라벨링하였다. MLP-Mixer 모델은 트랜스포머 및 장단기메모리(long short-term memory, LSTM) 모델 대비 우수한 성능을 보였기 때문에 자동 무호흡/정상 분류에 사용되었다. 분류된 무호흡/정상 결과는 호흡 사건 지수(respiratory event index, REI)를 계산하는 데 사용되었고, REI ≥ 15는 중등도~중증 OSA를 나타낸다. 저품질 데이터로 인해 7개 기록이 제외되었으며, 그 결과 훈련 및 검증에 100명, 테스트에 93명이 사용되었다. 모델 성능은 민감도, 특이도, 정확도 및 F1-score로 평가하였다. AHI와 REI 간의 일치는 Pearson 상관분석과 Bland-Altman 분석으로 평가하였다. 결과: 본 모델은 중등도~중증 OSA 탐지에서 89%의 정확도, 92.5%의 민감도, 81.8%의 특이도, 91.9%의 F1-score를 달성하였다. AHI와 REI 간의 상관계수는 0.92였다. Bland-Altman 분석에서는 AHI와 REI의 평균 차이가 3으로 나타났으며, 동의 한계(limit of agreement)는 평균 34였다. 결론: 복부 착용 기기 데이터를 활용한 딥러닝 기반 알고리즘은 중등도~중증 OSA 탐지에서 강한 성능을 보였다. 이러한 결과는 이 단순한 AI 기반 무선 웨어러블 기기가 OSA 선별(sクリーニング)을 위한 접근 가능하고 효과적인 도구가 될 잠재력을 지님을 시사한다. 지원(해당 시): SB Solutions Inc.

월드 모델은 로봇이 자신의 행동과 환경 동역학 간의 상호작용을 이해하고 예측할 수 있게 한다. 최근 확산(diffusion) 모델의 발전은 시뮬레이션 환경에서의 이미지 프레임 생성 품질을 크게 향상시켜, 보다 견고하고 일반화된 월드 모델 개발에 기여해 왔다. 그러나 이러한 확산 기반 월드 모델은 종종 키보드 명령과 같은 이산(discrete) 입력에 의존하며, 이는 연속적인 실제 로봇 제어에 대한 적용성을 제한한다. 이 한계를 해결하기 위해, 시각과 고유수용감각(proprioceptive) 양식(예: 관절 위치)을 공통 잠재 공간(shared latent space) 내에서 정렬하도록 대조학습(contrastive learning)을 통합하는 새로운 프레임워크를 제안한다. 이러한 공통 잠재 공간은 시각 장면과 고유수용감각 상태 간의 정확한 크로스-모달 예측을 가능하게 한다. 잠재 표현을 확산 모델과 결합함으로써, 우리의 월드 모델은 초기 시각 관측과 고유수용감각 상태를 모두 활용하여 장기 미래의 시각 장면을 생성할 수 있다. 실험 결과, 제안된 프레임워크는 목표 고유수용감각 데이터가 주어졌을 때 고충실도이며 장기적인 미래 시각 장면을 생성함을 보여주었다. 이 기능은 로봇이 생성된 이미지만을 기반으로 운동을 계획할 수 있게 하며, 상상(이미지 기반) 계획을 가능하게 한다.

본 논문에서는 RGB-D 카메라만을 사용하여 탁상 정리(tabletop tidying up) 문제를 해결하기 위한 새로운 프레임워크인, 정리도(tidiness score) 기반 몬테카를로 트리 탐색(TSMCTS, tidiness score-guided Monte Carlo tree search)을 제시한다. 우리는 탁상 정리 문제의 두 가지 주요 문제를 다룬다: (1) 공개 데이터셋 및 벤치마크의 부재, 그리고 (2) 보이지 않는 물체의 목표 구성(goal configuration)을 명시하는 데 따르는 어려움이다. 전자에 대해서는 시뮬레이션에서 수집한 구조화 데이터셋인 탁상 정리(TTU) 데이터셋을 제시한다. 이 데이터셋을 사용하여 정리도를 예측할 수 있는 비전 기반 판별기(discriminator)를 학습한다. 이 판별기는 실제 장면을 포함하여, 보이지 않는 구성에서도 정리의 정도를 일관되게 평가할 수 있다. 후자에 대해서는, 명시적 목표를 지정하지 않고 정리 궤적(tidying trajectories)을 찾기 위해 몬테카를로 트리 탐색(MCTS)을 활용한다. 구체적인 목표를 제공하는 대신, 정리도 점수를 지침으로 사용함으로써 우리의 MCTS 기반 플래너(planner가) 다양한 정리된 구성에 도달할 수 있음을 보인다. 이에 따라, 최적의 정리된 배치를 찾기 위해 정리도 판별기와 MCTS 기반 정리 플래너를 통합한 TSMCTS를 제안한다. TSMCTS는 커피 테이블, 식탁, 사무용 책상, 욕실을 포함한 다양한 환경에서 그 능력을 성공적으로 입증하였다. TTU 데이터셋은 다음에서 제공된다: https://github.com/rllab-snu/TTU-Dataset.

로봇공학 분야에서 대규모 언어 모델(Large Language Models, LLM)의 활용이, 특히 인간의 명령을 이해하는 영역에서 점차 보편화되고 있다. 특히 LLM은 고수준의 인간 명령을 위한 도메인 비특정(task-agnostic) 태스크 플래너로 사용된다. LLM은 Chain-of-Thought(CoT) 추론을 수행할 수 있으며, 이를 통해 LLM은 태스크 플래너로 기능할 수 있다. 그러나 현대의 로봇은 여전히 복잡한 행동을 수행하는 데 어려움이 있고, 로봇을 배치할 수 있는 도메인도 현실적으로 제한적이다. 이에 따라 다음과 같은 질문을 제기한다. 만약 소형 LLM을 단일 도메인 내에서 연쇄적으로 추론하도록 학습할 수 있다면, 소형 LLM 역시 로봇을 위한 좋은 태스크 플래너가 될 수 있는가? 연쇄적 추론을 수행하도록 소형 LLM을 학습하기 위해, LLM을 통해 고수준 명령과 이에 대응하는 실행 가능한 저수준 단계로 이루어진 `COmmand-STeps datasets' (COST) 를 구축한다. 우리는 누구든지 자신의 도메인에 맞는 데이터셋을 구축할 수 있도록, 데이터셋뿐 아니라 이를 생성하는 데 사용한 프롬프트 템플릿도 함께 공개한다. 우리는 태스크 도메인에서 GPT3.5와 GPT4를, 파인튜닝된 GPT2와 비교하며, 탁자 위(tabletop) 및 주방(kitchen) 환경에서 실험한 결과, GPT2-medium이 특정 도메인에서의 태스크 계획 측면에서 GPT3.5와 유사한 성능을 보임을 확인하였다. 본 데이터셋, 코드 및 추가 출력 예시는 https://github.com/Gawon-Choi/small-LMs-Task-Planning 에서 확인할 수 있다.

우리는 춤을 음악으로부터 시각적 리듬을 형성하는 움직임으로서 가정하며, 이때 시각적 리듬은 광학 흐름(optical flow)으로부터 인지될 수 있다. 에이전트가 시각적 리듬과 음악 간의 관계를 인식할 수 있다면, 음악과 일치하는 시각적 리듬을 만들기 위한 움직임을 생성함으로써 춤출 수 있을 것이다. 이에 기반하여, 우리는 인간의 비디오로부터 춤추는 방법을 학습하도록 어떤 종류의 비인간형(non-humanoid) 에이전트에도 적용 가능한 프레임워크를 제안한다. 우리의 프레임워크는 두 과정으로 구성된다: (1) 인간의 춤 비디오로부터 광학 흐름(시각적 리듬)과 음악 간의 관계를 인식하는 보상 모델을 학습하고, (2) 그 보상 모델을 바탕으로 강화학습을 통해 비인간형 댄서를 학습한다. 우리의 보상 모델은 광학 흐름과 음악을 위한 두 개의 특징 인코더로 이루어진다. 이들은 동시적인 광학 흐름과 음악 특징 간의 유사성이 더 높아지도록 하는 대조학습(contrastive learning) 기반으로 훈련된다. 이 보상 모델을 통해 에이전트는, 자신의 행동이 주어진 음악 특징과 더 높은 유사성을 갖는 특징을 가진 광학 흐름을 만들어낼 때 더 높은 보상을 획득함으로써 춤을 학습한다. 실험 결과, 생성된 춤 동작은 음악의 비트에 적절히 정렬될 수 있음을 보였고, 사용자 연구 결과는 우리의 프레임워크가 기존 기준선(baselines)보다 인간에게 더 선호됨을 시사한다. 우리가 아는 한, 인간 비디오로부터 춤을 학습하는 비인간형 에이전트에 대한 본 연구는 전례가 없다. 예시 비디오는 https://youtu.be/dOUPvo-O3QY 에서 확인할 수 있다.

인간 동작 합성은 전통적으로 미래 동작 예측이나 알려진 핵심 자세(key-poses)를 조건으로 중간 자세(intermediate poses)를 채우는 것과 같은 특정 과제에 초점을 맞춘 과제 의존적 모델을 통해 다루어져 왔다. 본 논문에서는 이러한 과제들을 통합된 아키텍처로 효과적으로 해결할 수 있는 새로운 과제 비의존적 모델 UNIMASK-M을 제안한다. 우리의 모델은 각 분야에서 기존 최첨단(state-of-the-art)과 비교 가능하거나 그보다 우수한 성능을 보인다. Vision Transformers(ViTs)의 아이디어에 영감을 받아, UNIMASK-M은 인간의 자세를 신체 부위로 분해하여 인간 동작에 존재하는 시공간적(spatio-temporal) 관계를 활용한다. 또한 우리는 여러 자세 조건부(pose-conditioned) 동작 합성 과제들을 입력으로 주어진 서로 다른 마스킹 패턴을 바탕으로 하는 복원(reconstruction) 문제로 재구성한다. 마스킹된 관절(masked joints)에 대해 모델에 명시적으로 정보를 제공함으로써, UNIMASK-M은 가림(occlusions)에 대해 보다 견고해진다. 실험 결과, 본 모델은 Human3.6M 데이터셋에서 인간 동작을 성공적으로 예측하는 동시에, LaFAN1 데이터셋에서 장기간 전이(long transition periods)에 대한 모션 인비트윙(motion inbetweening) 분야에서 최첨단 성과를 달성함을 보여준다.