본 논문은 실시간 EEG(Electroencephalography) 측정과 공유 자율성(shared autonomy)에 기반한, 정해지지 않은 물체에 대한 로봇 파지(잡기) 텔레오퍼레이션 시스템을 제시한다. 비구조화된 환경에서 정해지지 않은 물체를 파지할 때에는, 완전 자율 파지가 불확실한 상황을 처리하지 못할 수 있으므로 실시간 인간의 의사결정이 필요하다. 제안하는 시스템은 집게손(그리퍼)의 3차원(3D) 이동, 적절한 파지 자세의 선택, 그립 힘(grip force) 조절을 포함하여, 파지 절차 전 과정에 걸쳐 다양한 범위의 인간 의사결정에 개입할 수 있도록 한다. 인간 조작자의 이러한 다중 의사결정 절차는 파지 작업을 미리 정의된 하위 단계(substeps)로 분할하여, 정상상태 시각유발전위(steady-state visually evoked potentials; SSVEP)를 위한 여섯 개의 깜박이는 블록(flickering blocks)으로 구현되었다. 각 하위 단계는 물체에 접근하기, 자세 및 그립 힘을 선택하기, 파지하기, 원하는 위치로 운반하기, 그리고 놓아주기로 구성된다. 그래픽 사용자 인터페이스(GUI)는 각 깜박이는 블록 옆에 현재 하위 단계와 간단한 기호를 표시하여 빠르게 이해할 수 있도록 한다. 네 가지 가능한 자세와 세 가지 그립 힘 수준 중에서 선택하는 실시간 인간 의사결정을 활용하여 다양한 물체에 대한 텔레파지(tele-grasping)를 시연하였다. 이 시스템은 복잡한 인간 의사결정을 필요로 하는 다른 순차적인 EEG 제어 텔레오퍼레이션 작업에도 적용될 수 있다.

본 연구는 이족(人)과 유사한 방식, 즉 양팔과 민첩한 로봇 손을 사용하여 로봇 조립용 끼워맞춤(peg-in-hole)을 구현하는 데에 초점을 둔다. 본 연구에서의 peg-in-hole 전략은 주로 두 부분, 즉 파지 전략(손 부분)과 조립 전략(팔 부분)으로 구성된다. 파지 전략은 “advanced blind grasping”이라 불리는 기본 파지 방법과, 작업물을 재지향(reorientation)하기 위해 요구되는 손내(in-hand) 조작 방법을 설명한다. 실제 구현을 위해 피드포워드(task space force) 기반 작업공간 힘 제어 방식이 제안된다. 조립 전략에서는 “perturbation pattern”이라 불리는 기본 단위 동작을 제시하고, 이를 단위 동작들의 조합으로 구성되는 네 가지 조립 단계로 제안한다. 또한 조립 전략의 구현을 위해 힘-위치 혼합 제어(force-position hybrid control)를 다루었다. 평가를 위해 인간 크기의 50-DOF 상체 로봇을 사용하여 열쇠구멍(keyhole)과 유사한 형상을 갖는 peg-in-hole 조립 시연을 수행하였다.

로봇을 이용한 기존 조립 방법은 엔드이펙터를 변경하거나 조립을 위해 두 대의 로봇 팔을 운용해야 한다. 본 연구에서는 단일 로봇 팔로 조립에 필요한 작업을 수행할 수 있는 스크루드라이빙 그리퍼를 제안한다. 제안된 스크루드라이빙 그리퍼는 사람의 양손 조작을 모사하며, 다음의 세 가지 특징을 가진다. (1) 단일 그리퍼로 조립에 필요한 집기-놓기, 페그-인-홀, 스크루드라이빙 작업을 수행한다. (2) 환경과의 접촉 힘에 순응하도록 유연한 링크를 사용한다. (3) 손목의 회내(pronation)와 회외(supination)에 해당하는 것과 동일한 관절을 사용하여 조작기가 경로를 형성하는 데 도움을 준다. 이러한 특징을 구현하기 위해 3개의 손가락과 12 자유도를 갖는 새로운 그리퍼를 제안하며, 이 그리퍼는 파지(grasping)부와 스크루드라이빙(screwdriving)부로 구성된다. 파지부는 roll-yaw-pitch-pitch 관절 구성을 갖는 두 개의 손가락을 가지며, pitch 관절은 손목의 회내 및 회외를 구현한다. 스크루드라이빙부는 roll-pitch-pitch 관절 구성을 갖는 하나의 손가락과 환경에 순응할 수 있는 유연한 링크를 포함하며, 이는 외력의 방향에 기반한 순응성을 용이하게 한다. 스크루드라이빙 손가락의 끝단에는 육각 렌치(헥스 키)가 부착된 모터가 있고, 모터의 뒷면에는 삽입 팁(insert tip)이 부착된다. 제안된 스크루드라이빙 그리퍼의 시제품을 제작하고, 이 시제품을 이용한 조립 전략을 제안한다. 협동 로봇 팔을 사용한 스크루드라이빙 작업 실험을 통해 제안 그리퍼의 특징을 검증하였다. 실험 결과, 이 스크루드라이빙 그리퍼는 집기-놓기, 페그-인-홀, 스크루드라이빙과 같은 조립에 필요한 작업을 수행할 수 있음이 확인되었다.

본 논문은 실시간 EEG(Electroencephalography) 측정과 공유 자율성(shared autonomy)에 기반한, 정해지지 않은 물체에 대한 로봇 파지(잡기) 텔레오퍼레이션 시스템을 제시한다. 비구조화된 환경에서 정해지지 않은 물체를 파지할 때에는, 완전 자율 파지가 불확실한 상황을 처리하지 못할 수 있으므로 실시간 인간의 의사결정이 필요하다. 제안하는 시스템은 집게손(그리퍼)의 3차원(3D) 이동, 적절한 파지 자세의 선택, 그립 힘(grip force) 조절을 포함하여, 파지 절차 전 과정에 걸쳐 다양한 범위의 인간 의사결정에 개입할 수 있도록 한다. 인간 조작자의 이러한 다중 의사결정 절차는 파지 작업을 미리 정의된 하위 단계(substeps)로 분할하여, 정상상태 시각유발전위(steady-state visually evoked potentials; SSVEP)를 위한 여섯 개의 깜박이는 블록(flickering blocks)으로 구현되었다. 각 하위 단계는 물체에 접근하기, 자세 및 그립 힘을 선택하기, 파지하기, 원하는 위치로 운반하기, 그리고 놓아주기로 구성된다. 그래픽 사용자 인터페이스(GUI)는 각 깜박이는 블록 옆에 현재 하위 단계와 간단한 기호를 표시하여 빠르게 이해할 수 있도록 한다. 네 가지 가능한 자세와 세 가지 그립 힘 수준 중에서 선택하는 실시간 인간 의사결정을 활용하여 다양한 물체에 대한 텔레파지(tele-grasping)를 시연하였다. 이 시스템은 복잡한 인간 의사결정을 필요로 하는 다른 순차적인 EEG 제어 텔레오퍼레이션 작업에도 적용될 수 있다.

본 연구는 이족(人)과 유사한 방식, 즉 양팔과 민첩한 로봇 손을 사용하여 로봇 조립용 끼워맞춤(peg-in-hole)을 구현하는 데에 초점을 둔다. 본 연구에서의 peg-in-hole 전략은 주로 두 부분, 즉 파지 전략(손 부분)과 조립 전략(팔 부분)으로 구성된다. 파지 전략은 “advanced blind grasping”이라 불리는 기본 파지 방법과, 작업물을 재지향(reorientation)하기 위해 요구되는 손내(in-hand) 조작 방법을 설명한다. 실제 구현을 위해 피드포워드(task space force) 기반 작업공간 힘 제어 방식이 제안된다. 조립 전략에서는 “perturbation pattern”이라 불리는 기본 단위 동작을 제시하고, 이를 단위 동작들의 조합으로 구성되는 네 가지 조립 단계로 제안한다. 또한 조립 전략의 구현을 위해 힘-위치 혼합 제어(force-position hybrid control)를 다루었다. 평가를 위해 인간 크기의 50-DOF 상체 로봇을 사용하여 열쇠구멍(keyhole)과 유사한 형상을 갖는 peg-in-hole 조립 시연을 수행하였다.

로봇을 이용한 기존 조립 방법은 엔드이펙터를 변경하거나 조립을 위해 두 대의 로봇 팔을 운용해야 한다. 본 연구에서는 단일 로봇 팔로 조립에 필요한 작업을 수행할 수 있는 스크루드라이빙 그리퍼를 제안한다. 제안된 스크루드라이빙 그리퍼는 사람의 양손 조작을 모사하며, 다음의 세 가지 특징을 가진다. (1) 단일 그리퍼로 조립에 필요한 집기-놓기, 페그-인-홀, 스크루드라이빙 작업을 수행한다. (2) 환경과의 접촉 힘에 순응하도록 유연한 링크를 사용한다. (3) 손목의 회내(pronation)와 회외(supination)에 해당하는 것과 동일한 관절을 사용하여 조작기가 경로를 형성하는 데 도움을 준다. 이러한 특징을 구현하기 위해 3개의 손가락과 12 자유도를 갖는 새로운 그리퍼를 제안하며, 이 그리퍼는 파지(grasping)부와 스크루드라이빙(screwdriving)부로 구성된다. 파지부는 roll-yaw-pitch-pitch 관절 구성을 갖는 두 개의 손가락을 가지며, pitch 관절은 손목의 회내 및 회외를 구현한다. 스크루드라이빙부는 roll-pitch-pitch 관절 구성을 갖는 하나의 손가락과 환경에 순응할 수 있는 유연한 링크를 포함하며, 이는 외력의 방향에 기반한 순응성을 용이하게 한다. 스크루드라이빙 손가락의 끝단에는 육각 렌치(헥스 키)가 부착된 모터가 있고, 모터의 뒷면에는 삽입 팁(insert tip)이 부착된다. 제안된 스크루드라이빙 그리퍼의 시제품을 제작하고, 이 시제품을 이용한 조립 전략을 제안한다. 협동 로봇 팔을 사용한 스크루드라이빙 작업 실험을 통해 제안 그리퍼의 특징을 검증하였다. 실험 결과, 이 스크루드라이빙 그리퍼는 집기-놓기, 페그-인-홀, 스크루드라이빙과 같은 조립에 필요한 작업을 수행할 수 있음이 확인되었다.

본 연구는 페그-인-홀 조립에서 탐색 시간의 편차를 줄이기 위해 홀의 방향을 추정하는 새로운 방식을 제안한다. 페그-인-홀 조립을 수행하기 위해서는 홀의 위치를 찾아야 한다. 본 연구진의 선행 연구에서는 블라인드 탐색(blind search) 방법으로 홀을 찾는 방식을 확인하였다. 블라인드 탐색 방법은 구멍을 찾을 때까지 페그를 미리 정의된 경로를 따라 이동시킨다. 그러나 블라인드 탐색을 사용하면, 홀 위치 탐색 시간이 매번 달라지기 때문에 페그-인-홀 조립 완료 시간을 예측하기가 어렵다. 이는 페그가 홀의 방향을 고려하지 않은 채 동일한 미리 정의된 경로를 따라 이동하기 때문이다. 또한 홀의 방향이 알려져 있다면, 홀의 방향을 전혀 알지 못하는 경우에 비해 홀 탐색 시간의 편차를 줄일 수 있다. 따라서 본 연구에서는 ‘운동감각(kinesthetic sensing)’에 기반한 손안 조작(in-hand manipulation)을 통해 홀의 방향을 찾는 새로운 방법을 제안한다. 더불어 손안 조작을 위한 ‘Free-Finger’의 개념을 도입한다. 제안된 방법은 손가락을 사용하여 홀의 방향을 찾고 페그-인-홀 조립을 수행한다. 따라서 매니퓰레이터의 성능에 관계없이 페그-인-홀 조립을 구현할 수 있다. 제안 방법의 타당성은 3지(three-fingered) 그리퍼를 사용한 실험을 통해 검증되었다.

해파리에서 영감을 받은 소프트 로봇은 교번적 수축-복원 수학(수축-되돌림) 동역학과 효율적인 고체-유체 상호작용 때문에 상당한 주목을 받아 왔다. 그러나 기존 설계는 종종 보행(이동) 모드 간의 기계적 결합 문제를 겪는데, 하나의 추진 작용이 동시에 조향과 수심 변화를 유발하여 각 모드를 독립적으로 제어하기 어렵다. 본 연구에서는 추진, 조향, 부력 제어를 독립적인 모듈로 분리하는 기능적으로 분리된 구동(actuation) 시스템을 갖춘 새로운 소프트 로봇 해파리를 제시한다. 추진 모듈은 수동 밸브를 사용하는 공압 텐타클(tentacles)로 구성되어, 차등 항력(differential drag)을 통해 순추력을 생성한다. 또한 전방 속도와 무관한 민첩한 거의 0에 가까운 회전반경(near zero-radius) 회전을 가능하게 하는 전용 측면 워터젯(lateral water-jet) 시스템을 도입하였다. 더 나아가, 가변 부력 모듈은 연속적인 동력 소비 없이 능동적인 수직 항법을 가능하게 한다. 실험적 특성화 결과 최대 수영 속도와의 및 빠른 선회율을 . 본 분리된 아키텍처는 소프트 수중 로봇의 민첩성을 크게 향상시키며, 복잡한 탐색 작업을 수행하기 위한 견고한 플랫폼을 제공한다.

연질(soft) 그리퍼는 복잡한 제어 알고리즘 없이도 다양한 형상의 물체를 견고하게 파지할 수 있게 해준다. 그러나 연질 소재의 특성은 손가락에 센서를 부착하는 데 있어 어려움을 야기하여, 현재 상태에 대한 피드백 데이터를 얻는 능력을 저해한다. 본 연구는 연질 그리퍼의 손가락에 부착하도록 설계된 새로운 센서 개념을 제시하며, 굽힘 각도와 접촉 힘을 모두 측정할 수 있도록 한다. 제안된 센서는 여러 지점에서 굽힘 각도와 접촉 힘을 동시에 측정하기 위해 포토-리플렉터(photo-reflectors)를 사용하며, 측정 셀의 개수를 용이하게 확장할 수 있는 기능을 갖는다. 내구성을 향상시키기 위해, 검증된 내구성을 가진 유연 인쇄회로기판(flexible printed circuit board)과 슬립(slip) 메커니즘 구조를 통합하였다. 실험을 통해 제안된 센서의 타당성이 검증되었다. 또한 센서의 내구성과 장기 반복 가능성은 100,000회의 반복 작동을 통해 확인되었다.

머리 자세 추정(head pose estimation, HPE)은 인간-컴퓨터 상호작용, 의료, 로보틱스, 감시 등 다양한 응용 분야에서 핵심적인 과제이다. 기존의 대부분 방법은 오일러 각(Euler angles)을 표현으로 사용하지만, 특히 360° 전 범위 회전 상황이나 9개의 매개변수가 필요한 회전 행렬에서는 짐벌 락(gimbal lock)과 같은 어려움에 직면하는 경우가 많다. 본 연구는 이러한 문제를 회피하기 위해 4개의 매개변수만 사용하는 쿼터니언(quaternion) 표현을 활용하는 새로운 딥러닝 기반 모델인 WQuatNet을 제안한다. WQuatNet은 랜드마크-프리(landmark-free) HPE 방법에 기반하여, 이미지를 통해 360 ${}^{\circ }$의 전 범위 각도에서 머리 자세를 예측하도록 설계되었다. 랜드마크-프리 방법은 얼굴 랜드마크의 명시적 검출이 필요하지 않으며, 대신 전체 이미지를 활용해 머리의 방향을 추정한다. 본 모델은 견고한 특징 추출을 위해 RepVGG-D2se 백본을 통합하고, 쿼터니언 예측을 위한 두 가지 손실 함수(loss function)를 도입한다. 여러 HPE 데이터셋에서 협소-각도(narrow-range)와 전범위(full-range) 각도를 모두 포함하여 수행한 실험 결과는 WQuatNet이 정확도 측면에서 최신 기술 수준(SOTA) 접근법보다 우수함을 보여준다. 제안된 HPE의 성능은 CMU, AGORA, BIWI, AFLW2000, 300W-LP 데이터셋을 사용하여 평가하였다. 또한 각 모델 구성 요소의 중요성을 검증하기 위해 절제(ablation) 실험과 오류 분석을 수행하였다.

카메라 영상을 이용한 실시간 6D 자세 추적은 로봇이 가정 내 물품을 추적하고 집게로 파지할 수 있도록 하는 데 중요한 역할을 한다. 반복적 근접점(iterative closest point, ICP)은 성능이 좋고 자원 소모가 적어 자세 추적의 주요 방법으로 자주 사용되지만, 평면적 또는 대칭적인 물체를 다루기 어렵다는 등 여러 과제가 있다. 이러한 과제는 추적 상황에서 ICP가 실패하기 쉬운 원인이 된다. 본 연구에서는 가정용 물품 추적에 ICP를 효과적으로 활용하기 위한 ICP 향상 알고리즘을 제안한다. 우리의 주요 기여는 세 가지로 요약할 수 있다. (1) 초기 자세 획득을 위한 RGB 키포인트의 사용, (2) 평면적 또는 회전 대칭 물체를 다루기 위한 정련(refinement) 접근법, (3) 추적 실패 시의 자기 복구 알고리즘이다. 우리는 RGB 키포인트를 사용하여 초기 자세를 추정하고, 물체의 평면 및 회전 대칭 특성을 고려하여 손실 함수의 가중치를 미세 조정함으로써 정확한 자세를 달성한다. 또한 추적 실패를 감지하고 해결하기 위해 Oriented FAST and Rotated BRIEF(ORB) 디스크립터를 이용한 복구 알고리즘을 적용하였다. RGB 텍스처가 낮은 물체에서는 성능이 비교적 제한적이었으나, 충분한 RGB 텍스처가 존재하는 경우 본 알고리즘은 안정적이며 높은 정확도를 달성하였다. YCB Video 데이터셋의 16개 물체에 대해 본 알고리즘이 100% ADDs-AUC를 달성함을 확인하였다.