아이웨어 기기를 위한 적응형 포비티드 디스플레이 제어 장치 및 방법
Apparatus and Method for Controlling Adaptive Foveated Display for Eyewear Devices
특허 요약
본 발명은 아이웨어 기기를 포함한 모든 헤드 마운티드 디스플레이(Head Mounted Display, HMD)가 저전력 및 적은 컴퓨팅 타임만으로도 실시간 포비티드 렌더링을 효과적으로 수행할 수 있도록 한 아이웨어 기기를 위한 적응형 포비티드 디스플레이 제어 장치 및 방법에 관한 것으로, 아이웨어 기기 착용자의 머리 움직임, 시선 추적, 기기 착용자와 피사체 간의 거리 센싱값을 수집하는 데이터 수집부;상기 수집된 센싱값들을 이용하여 사용자의 머리 움직임 속도, 사용자의 시선, 사용자와 피사체 간의 거리 데이터들을 생성하여 통합 처리하는 센서 데이터 압축 처리부;AFDC(Adaptive Foveated Display Control) 알고리즘을 실행하여 디스플레이의 총 그리드 영역을 결정하고, 응시점이 위치한 포비티드 디스플레이 영역만 고해상도로 설정하고, 중간 해상도로 설정할 그리드 범위를 설정하여 포비티드로 설정된 그리드를 감싸고 있는 그리드에 대해서만 중간 해상도로 설정하는 AFDC 알고리즘 실행부;포비티드 영역의 설정이 끝난 뒤 각 그리드(Grid) 영역의 개수를 출력하는 그리드 데이터 출력부;를 포함하는 것이다.
청구항
번호청구항
1

아이웨어 기기 착용자의 머리 움직임, 시선 추적, 기기 착용자와 피사체 간의 거리 센싱값을 수집하는 데이터 수집부;상기 수집된 센싱값들을 이용하여 사용자의 머리 움직임 속도, 사용자의 시선, 사용자와 피사체 간의 거리 데이터들을 생성하여 통합 처리하는 센서 데이터 압축 처리부;AFDC(Adaptive Foveated Display Control) 알고리즘을 실행하여 디스플레이의 총 그리드 영역을 결정하고, 응시점이 위치한 포비티드 디스플레이 영역만 고해상도로 설정하고, 중간 해상도로 설정할 그리드 범위를 설정하여 포비티드로 설정된 그리드를 감싸고 있는 그리드에 대해서만 중간 해상도로 설정하는 AFDC 알고리즘 실행부;포비티드 영역의 설정이 끝난 뒤 각 그리드(Grid) 영역의 개수를 출력하는 그리드 데이터 출력부;를 포함하는 것을 특징으로 하는 아이웨어 기기를 위한 적응형 포비티드 디스플레이 제어 장치.

2

제 1 항에 있어서, AFDC(Adaptive Foveated Display Control) 알고리즘은,추적된 시선위치까지의 거리를 측정하고, 거리에 따라 그리드의 크기를 설정하여 그리드의 촘촘함의 정도가 달라지도록 하고, 설정 그리드별로 해상도를 다르게 하는 것을 특징으로 하는 아이웨어 기기를 위한 적응형 포비티드 디스플레이 제어 장치.

3

제 1 항에 있어서, 데이터 수집부는,아이웨어 기기 착용자의 머리 움직임을 감지하기 위한 센서(6DoF)와,아이웨어 기기 착용자의 시선을 추적하기 위한 카메라 센서(Eye Tracker)와, 아이웨어 기기 착용자와 피사체 간의 거리 데이터를 수집하기 위한 센서(ToF)를 포함하는 것을 특징으로 하는 아이웨어 기기를 위한 적응형 포비티드 디스플레이 제어 장치.

4

제 1 항에 있어서, 센서 데이터 압축 처리부는,6DoF 센서를 통해 아이웨어 기기 착용자의 머리 움직임 속도를 측정하는 움직임 검출부와, 시선 추적기(Eye tracker) 센서를 통해 사용자가 바라보는 응시점의 위치를 계산하는 응시점 위치 계산부(Eye gaze location)와, ToF 센서를 통해 아이웨어 기기 사용자와 응시점 상에 있는 물체와의 거리를 계산하는 물체 이격 거리 계산부와,움직임 검출부, 응시점 위치 계산부, 물체 이격 거리 계산부의 생성 데이터를 통합 처리하는 데이터 통합 처리부를 포함하는 것을 특징으로 하는 아이웨어 기기를 위한 적응형 포비티드 디스플레이 제어 장치.

5

제 4 항에 있어서, 시선 추적기(Eye tracker)는 착용자의 눈 주변을 비디오로 촬영한 데이터를 생성하고, 응시점 위치 계산부는 생성된 데이터에 딥러닝을 적용하여 착용자의 눈의 위치를 계산하여 최종적으로 (x, y) 좌표 값을 출력하는 것을 특징으로 하는 아이웨어 기기를 위한 적응형 포비티드 디스플레이 제어 장치.

6

제 1 항에 있어서, AFDC 알고리즘 실행부는 AFDC(Adaptive Foveated Display Control) 알고리즘을 실행하여,머리 움직임 속도 산출(Head fast movement determining)을 하는 머리 움직임 속도 산출부와,수집한 응시점 데이터와 거리 데이터를 사용하여 디스플레이의 총 그리드 영역을 결정(Grid number determining)을 하는 전체 그리드 영역 결정부와,총 그리드 영역의 설정이 끝나면 응시점이 위치한 포비티드 디스플레이 영역만 고해상도로 설정하는(Foveated grid determining) 포비티드 그리드 결정부와, 중간 해상도로 설정할 그리드 범위를 설정하여(Blend grid determining) 포비티드로 설정된 그리드를 감싸고 있는 블렌드 그리드에 대해서만 중간 해상도로 설정하는 블렌드 그리드 결정부를 포함하는 것을 특징으로 하는 아이웨어 기기를 위한 적응형 포비티드 디스플레이 제어 장치.

7

제 1 항에 있어서, 그리드 데이터 출력부는 포비티드 영역의 설정이 끝난 뒤 각 그리드(Grid) 영역의 개수를 출력하기 위하여,디스플레이에 표시할 전체 그리드 영역(Total display grid)의 수를 나타내는 전체 그리드 정보 표시부와,디스플레이에 고해상도로 표시할 포비티드 디스플레이 영역(Foveated display grid)의 수를 나타내는 포비티드 그리드 정보 표시부와,고해상도 영역과 저해상도 영역 사이에서 오는 부자연스러움을 해결하기 위해 중간 품질의 해상도로 설정한 영역(Blend display grid)의 수를 나타내는 블렌드 그리드 정보 표시부를 포함하는 것을 특징으로 하는 아이웨어 기기를 위한 적응형 포비티드 디스플레이 제어 장치.

8

이미지 데이터가 수집됨과 동시에 6DoF가 아이웨어 기기 착용자의 머리 움직임 속도를 측정하는 머리 움직임 속도 측정(Head fast movement determining) 단계;머리 움직임이 감지된 경우 Eye tracker와 ToF 카메라로부터 수집한 응시점 데이터와 거리 데이터를 사용하여 디스플레이의 총 그리드 영역을 결정하는 총 그리드 영역 결정(Grid number determining) 단계;총 그리드 영역의 설정이 끝나면 응시점이 위치한 포비티드 디스플레이 영역만 고해상도로 설정하는 포비티드 영역 그리드 결정(Foveated grid determining) 단계;중간 해상도로 설정할 그리드 범위를 설정하여 포비티드로 설정된 그리드를 감싸고 있는 블렌드 그리드에 대해서만 중간 해상도로 설정하는 블렌디드 영역 그리드 결정(Blend grid determining) 단계;를 포함하는 것을 특징으로 하는 아이웨어 기기를 위한 적응형 포비티드 디스플레이 제어 방법.

9

제 8 항에 있어서, 머리 움직임 속도 측정(Head fast movement determining) 단계에서 아이웨어 기기 착용자의 머리 움직임 속도를 측정하여,만약, 머리 움직이는 속도가 기준 설정 속도보다 빠를 경우 디스플레이의 그리드 영역을 디폴트 값인 1개로 설정하며 사용자가 물체를 정확하게 바라볼 수 없다고 판단하여 모든 디스플레이 영역을 중간 해상도로 설정하는 것을 특징으로 하는 아이웨어 기기를 위한 적응형 포비티드 디스플레이 제어 방법.

10

제 9 항에 있어서, 머리 움직이는 속도가 기준 설정 속도보다 빠르지 않은 경우에는,총 그리드 영역을 결정하기 위해 시선 추적 장치와 ToF 카메라로부터 수집한 데이터를 사용하여, 사용자 시선의 중심 영역을 나타내기 위한 하나의 그리드를 포비티드 디스플레이 영역으로 설정하고, 주변 영역의 그리드는 DoF의 데이터를 이용하여 사용자와 물체 간의 거리가 멀수록 크게 설정하고, 거리가 짧을수록 작게 설정하는 것을 특징으로 하는 아이웨어 기기를 위한 적응형 포비티드 디스플레이 제어 방법.