시선 기반 촉각 인터페이스를 제공하기 위한 컴퓨터 장치 및 그의 방법
COMPUTER DEVICE FOR PROVIDING EYE-BASED TACTILE INTERFACE, AND METHOD OF THE SAME
특허 요약
다양한 실시예들은 시선 기반 촉각 인터페이스를 제공하기 위한 컴퓨터 장치 및 그의 방법에 관한 것으로, 사용자의 주변 영상을 촬영하면서, 사용자의 시선을 추적하고, 영상 내에서 시선이 향하는 객체를 검출하고, 객체에 대한 사용자의 입력을 기반으로, 객체와 관련된 촉각 인터페이스를 제공하도록 구성될 수 있다.
청구항
번호청구항
10

제 8 항에 있어서, 상기 프로세서는,상기 사용자의 시선을 기반으로, 상기 입력을 감지하도록 구성되는,컴퓨터 장치.

11

제 8 항에 있어서,상기 프로세서는,상기 입력으로부터 상기 객체 상에서의 위치를 검출하고,상기 위치와 관련된 촉각 피드백을 제공하도록 구성되는,컴퓨터 장치.

12

제 8 항에 있어서, 상기 프로세서는,상기 입력으로부터 상기 객체 상에서의 움직임을 검출하고,상기 움직임과 관련된 촉각 피드백을 제공하도록 구성되는,컴퓨터 장치.

13

제 8 항에 있어서, 상기 촉각 인터페이스는,접촉식 촉각 신호 또는 비접촉식 촉각 신호 중 적어도 하나로 이루어지는,컴퓨터 장치.

7

제 1 항에 있어서, 상기 촉각 인터페이스를 제공하는 단계는,상기 객체와 관련된 시각 인터페이스를 상기 촉각 인터페이스와 함께 제공하고,상기 시각 인터페이스는 상기 객체에 대한 정보 또는 시각적 효과 중 적어도 하나를 포함하는,방법.

9

제 8 항에 있어서, 상기 컴퓨터 장치는,터치 패드를 더 포함하고,상기 프로세서는,상기 터치 패드에 대한 상기 사용자의 터치를 기반으로, 상기 입력을 감지하도록 구성되는, 컴퓨터 장치.

8

컴퓨터 장치에 있어서,제 1 카메라 모듈;제 2 카메라 모듈; 촉각 모듈; 및상기 제 1 카메라 모듈, 상기 제 2 카메라 모듈, 및 상기 촉각 모듈과 각각 연결되고, 적어도 하나의 명령을 실행하도록 구성되는 프로세서를 포함하고,상기 프로세서는,상기 제 1 카메라 모듈을 통해 사용자의 주변 영상을 촬영하면서, 상기 제 2 카메라 모듈을 통해 상기 사용자의 시선을 추적하고,상기 프로세서가 포함하는 기계 학습 모델을 이용하여 상기 영상에 대한 촉감 지도를 생성하고,상기 영상 내에서 상기 시선이 향하는 객체를 검출하고, 상기 객체에 대한 상기 사용자의 입력을 기반으로, 상기 촉감 지도를 이용하여 상기 촉각 모듈을 통해 촉각 인터페이스를 제공하도록 구성되고,상기 기계 학습 모델은 다수의 시각 영상들과 그에 대응하여 생성된 다수의 촉감 지도들을 포함하는 미리 수집된 데이터를 이용하여 미리 학습된 것이고,상기 프로세서는,복수의 컨볼루션 계층들로 구성되는 상기 기계 학습 모델의 제1 계층을 통해, 미리 정해진 적어도 하나의 입력 파라미터를 기반으로, 상기 영상으로부터 상기 영상의 각 픽셀에 대해 표면 텍스처를 포함하는 시각 정보를 추출하고,복수의 잔차 블록들로 구성되는 상기 기계 학습 모델의 제2 계층을 통해, 상기 시각 정보로부터 상기 입력 파라미터에 매핑되어 있는 복수의 출력 파라미터들의 각 출력 파라미터에 대한 촉감 정보를 검출하고,복수의 디 컨볼루션 계층들로 구성되는 상기 기계 학습 모델의 제3 계층을 통해, 상기 각 출력 파라미터에 대한 상기 촉감 정보를 기반으로, 상기 출력 파라미터들에 각각 대응하는 복수의 촉감 파라미터 지도들을 생성하고, 상기 촉감 파라미터 지도들의 조합으로, 상기 촉감 지도를 생성하도록 구성되고,상기 출력 파라미터들은 진동수(frequency), 크기(magnitude), 및 주기(period)를 포함하는,컴퓨터 장치.

1

컴퓨터 장치의 방법에 있어서, 사용자의 주변 영상을 촬영하면서, 상기 사용자의 시선을 추적하는 단계;상기 컴퓨터 장치가 포함하는 기계 학습 모델을 이용하여, 상기 영상에 대한 촉감 지도를 생성하는 단계 - 상기 기계 학습 모델은 다수의 시각 영상들과 그에 대응하여 생성된 다수의 촉감 지도들을 포함하는 미리 수집된 데이터를 이용하여 미리 학습된 것임 -; 상기 영상 내에서 상기 시선이 향하는 객체를 검출하는 단계; 및상기 객체에 대한 상기 사용자의 입력을 기반으로, 상기 촉감 지도를 이용하여 상기 객체와 관련된 촉각 인터페이스를 제공하는 단계를 포함하고, 상기 촉감 지도를 생성하는 단계는, 복수의 컨볼루션 계층들로 구성되는 상기 기계 학습 모델의 제1 계층을 통해, 미리 정해진 적어도 하나의 입력 파라미터를 기반으로, 상기 영상으로부터 상기 영상의 각 픽셀에 대해 표면 텍스처를 포함하는 시각 정보를 추출하는 단계;복수의 잔차 블록들로 구성되는 상기 기계 학습 모델의 제2 계층을 통해, 상기 시각 정보로부터 상기 입력 파라미터에 매핑되어 있는 복수의 출력 파라미터들의 각 출력 파라미터에 대한 촉감 정보를 검출하는 단계 - 상기 출력 파라미터들은 진동수(frequency), 크기(magnitude), 및 주기(period)를 포함함 -; 복수의 디 컨볼루션 계층들로 구성되는 상기 기계 학습 모델의 제3 계층을 통해, 상기 각 출력 파라미터에 대한 상기 촉감 정보를 기반으로, 상기 출력 파라미터들에 각각 대응하는 복수의 촉감 파라미터 지도들을 생성하는 단계; 및상기 촉감 파라미터 지도들의 조합으로, 상기 촉감 지도를 생성하는 단계를 포함하고,상기 촉감 지도에서는 배경과 객체가 구분되는, 방법

2

제 1 항에 있어서, 상기 컴퓨터 장치는,터치 패드를 포함하고, 상기 입력은,상기 터치 패드에 대한 상기 사용자의 터치를 기반으로 발생되는,방법.

3

제 1 항에 있어서, 상기 입력은, 상기 사용자의 시선을 기반으로 발생되는,방법.

4

제 1 항에 있어서, 상기 촉각 인터페이스를 제공하는 단계는,상기 입력으로부터 상기 객체 상에서의 위치를 검출하는 단계; 및상기 위치와 관련된 촉각 피드백을 제공하는 단계를 포함하는,방법.

5

제 1 항에 있어서, 상기 촉각 인터페이스를 제공하는 단계는,상기 입력으로부터 상기 객체 상에서의 움직임을 검출하는 단계; 및상기 움직임과 관련된 촉각 피드백을 제공하는 단계를 포함하는,방법.

6

제 1 항에 있어서, 상기 촉각 인터페이스는,접촉식 촉각 신호 또는 비접촉식 촉각 신호 중 적어도 하나로 이루어지는,방법.

14

제 8 항에 있어서, 상기 프로세서는,상기 객체와 관련된 시각 인터페이스와 상기 촉각 인터페이스를 함께 제공하도록 구성되고,상기 시각 인터페이스는 상기 객체에 대한 정보 또는 시각적 효과 중 적어도 하나를 포함하는,컴퓨터 장치.

15

제 9 항에 있어서, 상기 컴퓨터 장치는,안경테 및 안경다리들을 갖는 스마트 안경으로 구현되고, 상기 제 1 카메라 모듈은,상기 안경테의 외측면에 설치되고,상기 제 2 카메라 모듈은,상기 안경테의 내측면에 설치되고,상기 촉각 모듈은,상기 안경다리들 중 적어도 하나의 외측면 또는 내측면 중 적어도 하나에 설치되고,상기 터치 패드는,상기 안경다리들 중 적어도 하나의 외측면에 설치되는,컴퓨터 장치.