특허 개요
본 특허는 확장 현실에서 손으로 가상 물체를 선택할 때 접촉·조작 지점을 계산하는 점 구름 기반 상호 작용 기술입니다. 복수의 뷰 벡터로 물체 표면의 점 구름을 만들고, 손 위치와 손의 각도에 따라 크기가 달라지는 핸드 버블을 형성합니다. 두 영역이 겹치는 부분의 평균 곡률을 반영한 근사 구(approximate sphere)를 생성한 뒤, 근사 구 중심과 손 위치를 연결한 핸드 벡터가 물체와 만나는 위치를 최종 상호 작용 지점으로 결정합니다.
- 핵심 기능
연산 장치는 렌더링 데이터와 복수의 뷰 벡터를 이용해 대상 물체의 전면 및 후면을 포함할 수 있는 점 구름을 생성하고, 핸드 포인트 각도·예상 오차·물체 크기에 따라 가변 핸드 버블을 만듭니다. 이어 점 구름과 핸드 버블의 중첩 영역에서 근사 구를 산출하고, 그 중심을 기준으로 한 핸드 벡터를 물체 표면에 투사해 선택·조작 지점을 결정합니다.
- 차별 강점
종래 확장 현실 상호 작용은 손의 진행 방향과 실제 선택 지점의 표면 방향 간 차이로 인해 정밀도와 사용 편안함이 저하될 수 있었습니다. 본 특허는 점 구름의 평균 곡률을 반영한 근사 구를 기준 구조로 활용해 손 방향과 물체 표면 법선 방향의 정합을 돕고, 시선 중심부의 점 구름 밀도를 높이거나 물체 후면 점 구름을 구성할 수 있는 점에서 차별성이 있습니다.
- 활용 범위
기술·연구 측면에서는 가상 현실·증강 현실·혼합 현실, 3차원 사용자 인터페이스, 핸드 트래킹, 가상 물체 선택 및 공간 컴퓨팅 분야에 활용 가능하며, 게임·드로잉·가상 배치 환경에 적용할 수 있습니다. 사업 측면에서는 헤드 마운트 디스플레이, 스마트 글래스, 몰입형 게임, 스마트 팩토리 제어, 확장 현실 기반 인테리어·가구 배치 솔루션으로 확장할 수 있습니다.
연구 개발 단계
복수 뷰 벡터 기반 점 구름, 손 위치·각도 기반 핸드 버블, 중첩 영역의 평균 곡률을 반영한 근사 구를 순차적으로 생성하여 최종 상호 작용 지점을 결정하는 방식을 제시했습니다. 실제 사용자 대상 정밀도·편안함, 다양한 물체 형상과 가림 조건에서의 강건성, 실시간 처리 성능은 구체적으로 검증되지 않았습니다.
- 대상 콘텐츠: 복수 뷰 벡터로 생성한 가상 물체 표면의 점 구름
- 입력 조건: 핸드 포인트와 핸드 포인트 각도, 예상 오차 및 대상 물체 크기
- 처리 조건: 점 구름·핸드 버블·근사 구를 프레임 단위로 갱신
현재 성과
점 구름과 핸드 버블의 중첩 영역에서 근사 구를 생성하고, 이를 기준으로 핸드 벡터를 산출해 최종 상호 작용 지점을 결정합니다. 시선 중심 영역에는 주변 영역보다 높은 밀도의 점 구름을 구성할 수 있어 주시 영역의 상호 작용 정밀도 향상을 목표로 합니다. 실데이터 기반 성능은 PoC에서 확인이 필요합니다.
연산 장치의 표면 추출, 버블 필터, 투사 기능을 통해 점 구름·핸드 버블·근사 구를 생성하고 최종 상호 작용 지점을 산출하는 절차가 제시되었습니다. 각 구조는 프레임 단위로 갱신되고, 산출된 상호 작용 지점 집합은 관심 영역으로 저장할 수 있습니다. 사용자 실험이나 실기기 환경에서의 정량 검증은 제시되지 않았습니다.
기존 확장 현실 상호 작용의 손 방향과 선택 지점 표면 방향 간 불일치 문제에 대해, 점 구름의 평균 곡률을 반영한 근사 구를 활용합니다. 또한 핸드 포인트 각도에 따라 핸드 버블 크기를 가변하고, 근사 구 중심 기반 핸드 벡터로 최종 지점을 결정하는 조합이 핵심 특징입니다. 전면뿐 아니라 후면 점 구름을 생성해 후면 상호 작용 후보를 구성할 수 있습니다.
상용화까지 남은 부분
실제 사용자 대상에서 선택 정확도와 상호 작용 편안함을 검증할 필요
다양한 물체 형상, 부분 가림, 손 추적 오차 조건에서의 상호 작용 강건성 검증 필요
프레임별 점 구름·핸드 버블·근사 구 갱신의 실시간 처리 성능과 헤드 마운트 디스플레이·스마트 글래스 통합 검증 필요
기술 이전 형태·도입 과정
도입은 이렇게 진행됩니다.
검토 미팅
귀사 상황·데이터 구조 기준으로 적합성을 논의합니다. 자료 검토만으로 끝나도 됩니다.
PoC 공동 검증
연구팀 동행 하에 귀사 데이터 기준 재학습·성능을 확인합니다.
라이센싱 계약
PoC 결과를 기반으로 희망 형태(실시권·공동연구 등)를 협의합니다.
기술지도·후속
도입 초기 기술지도, 필요 시 후속 공동연구·정부과제 연계까지 진행합니다.
특허 정보
확장 현실에서의 물체 상호 작용 방법, 이를 수행하는 연산 장치 및 상기 연산 장치를 포함하는 확장 현실 표시 시스템
10-2023-0190849 (2023.12.26)
1020250100814 (2025.07.04)
미등록 (심사 중)
박진아 (한국과학기술원), 이찬혁 (한국과학기술원)
한국과학기술원