포비티드 이미지 렌더링을 위하여 적어도 하나의 프로세서를 포함하는 전자 장치가,아이웨어 기기 착용자의 머리 움직임을 감지하기 위한 센서(6DoF) 및 아이웨어 기기 착용자의 시선을 추적하기 위한 카메라 센서(Eye Tracker)를 포함하는 아이웨어 장치;입력 이미지의 한 장면에서 눈동자의 움직임을 포착하여, 응시점 위치를 추적하며 객체들 간의 공간적 측면의 관계성에 관한 정보를 수집하여 영역별로 다른 해상도로 랜더링하는 포비티드 이미지 렌더링 제어부;를 포함하는 것을 특징으로 하는 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치.

제 1 항에 있어서, 포비티드 이미지 렌더링 제어부는,이미지를 고해상도로 분석하기 위해 응시점에 해당하는 포비티드 셀을 이용하여, 이미지의 작은 영역에 초점을 맞추는 제어를 수행하는 것을 특징으로 하는 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치.

제 1 항에 있어서, 포비티드 이미지 렌더링 제어부는,반복적으로 사용자의 시선을 포착하여 이미지의 지속적인 분석 및 렌더링을 가능하게 하고, 확대, 물체 감지, 감지된 물체들을 원본 이미지에 다시 통합하는 과정을 계속해서 반복하는 제어를 수행하는 것을 특징으로 하는 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치.

제 1 항에 있어서, 아이웨어 장치는,아이웨어 기기 착용자와 피사체 간의 거리 데이터를 수집하기 위한 센서(ToF)를 더 포함하는 것을 특징으로 하는 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치.

제 1 항에 있어서, 포비티드 이미지 렌더링 제어부는,이미지를 입력하는 이미지 입력부와,시선 추적 카메라를 통하여 입력 이미지의 한 장면에서 눈동자의 움직임을 포착하는 눈동자 움직임 검출부와,응시점 위치를 추적하는 응시점 추적부와,객체들 간의 공간적 측면의 관계성에 관한 정보를 수집하여 응시하고 있는 물체와의 거리를 추정하는 거리 추정부와,물체와의 거리를 이용하여 주어진 이미지의 영역을 나누는 그리드의 개수를 결정하는 그리드 개수 결정부와,응시점이 특정한 그리드 셀에 위치했을 때의 특정 그리드 셀 위치를 결정하는 특정 그리드 셀 위치 결정부와,응시점이 특정한 그리드 셀에 위치했을 때, 해당 셀을 고해상도로 렌더링하고 주변 셀들은 순차적으로 저해상도로 렌더링하는 랜더링부를 포함하는 것을 특징으로 하는 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치.

제 5 항에 있어서, 랜더링부에서 랜더링되어 이미지의 확대된 영역을 객체 감지 모델의 입력으로 사용하고,물체 감지가 완료되면 해당 개체의 레이블과 함께 이미지의 확대된 출력 영역을 출력에 포함시키는 것을 특징으로 하는 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치.

제 6 항에 있어서, 더 높은 해상도의 관심 영역을 포함하는 확대된 영역을 원본 이미지에 다시 통합하고,감지된 물체들을 바운딩 박스(Bounding box) 및 클래스 레이블과 같은 추가적인 시각적 정보와 함께 이미지에 렌더링하는 것을 특징으로 하는 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치.

제 5 항에 있어서, 응시점 추적부는,입력 이미지에서 물체들 간의 거리와의 상관관계를 이용하여 응시점 위치를 추적하는 것을 특징으로 하는 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치.

제 5 항에 있어서, 그리드 개수 결정부는 시선 추적을 하여 그리드를 나누는 기준이,사용자의 머리 움직임에 따라 이미지의 입력이 달라지는 것과는 상관없이 응시점을 기준으로 그리드를 구분하는 것을 특징으로 하는 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치.

제 5 항에 있어서, 특정 그리드 셀 위치 결정부은 특정한 그리드 셀의 위치를 결정하기 위하여,으로 정의되는 알고리즘을 사용하고,여기서, 좌표평면 상의 응시점 좌표는(x, y), m 과 n 은 각각 그리드의 열의 개수와 행의 개수, width와 height 변수는 이미지의 해상도, 출력은 i와 j로 표시되는 것을 특징으로 하는 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치.

적어도 하나의 프로세서를 포함하는 전자 장치에서 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 동작이 수행되고,시선 추적 카메라가 입력 이미지의 한 장면에서 눈동자의 움직임을 포착하는 단계;응시점 위치를 추적하는 단계;객체들 간의 공간적 측면의 관계성에 관한 정보를 수집하는 단계;거리 추정 및 그리드 개수 결정을 하는 단계;응시점이 특정한 그리드 셀에 위치했을 때, 해당 셀은 고해상도로 렌더링하고 주변 셀들은 순차적으로 저해상도로 렌더링하는 단계;이미지의 확대된 영역을 객체 감지 모델의 입력으로 사용하고, 물체 감지가 완료되면 해당 개체의 레이블과 함께 이미지의 확대된 출력 영역을 출력에 포함시키는 단계;를 포함하는 것을 특징으로 하는 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 방법.

제 11 항에 있어서, 더 높은 해상도의 관심 영역을 포함하는 확대된 영역을 원본 이미지에 다시 통합하고,감지된 물체들을 바운딩 박스(Bounding box) 및 클래스 레이블과 같은 추가적인 시각적 정보와 함께 이미지에 렌더링하는 단계를 더 포함하는 것을 특징으로 하는 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 방법.