디지털 트윈과 메타버스가 각광을 받으면서 혼합 현실에서 원격 조작의 중요성이 커지고 있다. 직관적인 인간-로봇 상호작용에 대한 다양한 연구에도 불구하고, 가상현실/혼합현실에서의 원격조작에 대한 연구는 여전히 해결해야 할 과제이다. 특히, 맨손을 이용한 실시간 원격조작에는 다음과 같은 문제점이 있다. 1) 휴대용 컨트롤러를 포함하여 컨트롤러를 기반으로 한 많은 연구가 있다. 2) 손 제스처를 이용한 원격조작에는 대부분 양손이 필요하거나 명령을 내리기 위해 너무 많은 제스처가 필요하다. 이는 작업자의 교육 시간이 필요하거나 작업 피로도를 증가시킨다. 3) 강력한 손 자세 추적 센서에도 불구하고 Leap Motion(LM)은 머리 장착 모드에서 손가락을 덮음으로써 발생하는 감지 오류로 인해 로봇의 불안정한 동작을 유발한다. 위의 문제점을 해결하기 위해 본 발명은 1) 컨트롤러 없이 손의 3가지 동작과 손목 회전만을 이용한 원격 조작, 2) 작업자의 작업량을 줄이기 위해 작은 움직임을 통한 직관적인 원격 조작, 3) 손가락 끝 위치를 제안한다. 혼합 현실을 구현하기 위해 LM을 사용한 손을 RGB 이미지에 겹쳐서 헤드셋 기어에 표시한다. 본 발명은 상업용, 산업용 로봇(6자유도 로봇팔, 2핑거 그리퍼)을 이용해 겹쳐진 물체를 잡고 벽의 목표 위치에 안착시키는 모습을 보여주기 위해 고안됐다. 책상 위에 겹...(이하생략)