심층 합성곱 신경망을 이용하여 RGB-D 이미지로부터 손 구성요소 및 손가락 끝을 추적하기 위한 방법 및 장치
A method and apparatus for tracking hand component and fingertip from RGB-D image using deep convolutional neural network
특허 요약
본 발명은 심층 합성곱 신경망(deep convolutional neural network)을 이용하여 RGB-D 이미지로부터 손 구성요소 및 손가락 끝을 추적하기 위한 장치에 관한 것이다. 본 발명의 일 실시예에 따른 전자 장치는 손을 포함하는 RGB 이미지 및 상기 RGB 이미지에 대응하는 깊이(depth) 이미지를 수신하는 이미지 획득부; 상기 RGB 이미지 및 깊이 이미지로부터 손 깊이 이미지를 추출하는 손 인식부; 상기 손 깊이 이미지로부터 손 구성요소 특징 맵 및 손가락 끝부분 특징 맵을 생성하는 인코더; 상기 손 구성요소 특징 맵으로부터 각 손 구성요소가 분할(segmentation)된 손 구성요소 이미지를 생성하는 제1 디코더; 및 상기 손가락 끝부분 특징 맵으로부터 각 손가락 끝부분이 분할된 손가락 끝부분 이미지를 생성하는 제2 디코더;를 포함할 수 있다.
청구항
번호청구항
1

손을 포함하는 RGB 이미지 및 상기 RGB 이미지에 대응하는 깊이(depth) 이미지를 수신하는 이미지 획득부;상기 RGB 이미지 및 깊이 이미지로부터 손 깊이 이미지를 추출하는 손 인식부;상기 손 깊이 이미지를 손 구성요소 데이터 집합의 라벨링 항목에 대한 다수의 가중치(weight)들을 갖는 제1 컨볼루션 필터에 적용하여 상기 손 구성요소 특징 맵을 생성하고,상기 손 깊이 이미지를 손가락 끝부분 데이터 집합의 라벨링 항목에 대한 다수의 가중치들을 갖는 제2 컨볼루션 필터에 적용하여 상기 손가락 끝부분 특징 맵을 생성하는 인코더;상기 손 구성요소 특징 맵으로부터 각 손 구성요소가 분할(segmentation)된 손 구성요소 이미지를 생성하는 제1 디코더; 및 상기 손가락 끝부분 특징 맵으로부터 각 손가락 끝부분이 분할된 손가락 끝부분 이미지를 생성하는 제2 디코더;를 포함하는,전자 장치.

2

제1항에 있어서,상기 손 인식부는,상기 RGB 이미지를 객체 탐지 모델에 적용하여 손을 포함하는 경계 영역(bounding box)을 생성하고,상기 깊이 이미지에서 상기 경계 영역에 해당하는 영역으로부터 상기 손 깊이 이미지를 추출하는,전자 장치.

3

제2항에 있어서,상기 손 인식부는, 상기 깊이 이미지에서 상기 경계 영역에 해당하는 영역에서 깊이 임계값보다 작은 깊이의 영역을 제외하고 상기 손 깊이 이미지를 추출하는,전자 장치.

4

삭제

5

제1항에 있어서,상기 인코더는,상기 손 구성요소 데이터 집합으로부터 상기 제1 컨볼루션 필터의 다수의 가중치들을 산출하고,상기 손 구성요소 데이터 집합과 상기 손가락 끝부분 데이터 집합에서 동일한 라벨링 항목에 대하여, 상기 제1 컨볼루션 필터의 다수의 가중치들 중 적어도 하나를 이용하여 상기 제2 컨볼루션 필터의 다수의 가중치들을 산출하는,전자 장치.

6

제1항에 있어서,상기 인코더는,상기 손가락 끝부분 데이터 집합으로부터 상기 제2 컨볼루션 필터의 다수의 가중치들을 산출하고,상기 손가락 끝부분 데이터 집합과 상기 손 구성요소 데이터 집합에서의 동일한 라벨링 항목에 대하여, 상기 제2 컨볼루션 필터의 다수의 가중치들 중 적어도 하나를 이용하여 상기 제1 컨볼루션 필터의 다수의 가중치들을 산출하는,전자 장치.

7

제1항에 있어서,상기 손 구성요소 데이터 집합의 라벨링 항목은, 적어도 하나의 손가락, 배경, 손바닥 및 팔목 중 적어도 하나이고,손가락 끝부분 데이터 집합의 라벨링 항목은, 적어도 하나의 손가락 끝부분, 상기 배경, 상기 손바닥 및 상기 팔목 중 적어도 하나인,전자 장치.

8

제1항에 있어서,상기 제1 디코더는,상기 손 구성요소 특징 맵으로부터 계산된 대표 픽셀 값과 손 구성요소 데이터 집합의 라벨링 항목에 대한 대표 값을 비교하여 오차를 산출하고,상기 오차가 제1 임계값보다 작을 경우, 상기 대표 픽셀 값에 대응하는 각 손 구성요소를 라벨링하고,상기 라벨링에 따라 상기 각 손 구성요소가 분할된 손 구성요소 이미지를 생성하는,전자 장치.

9

제1항에 있어서,상기 제2 디코더는,상기 손가락 끝부분 특징 맵으로부터 각 손가락 구성요소에 대한 대표 픽셀 값과 손가락 끝부분 데이터 집합의 라벨링 항목에 대한 대표 값을 비교하여 오차를 산출하고,상기 오차가 제2 임계값보다 작을 경우, 상기 대표 픽셀 값에 대응하는 각 손가락 끝부분을 라벨링하고, 상기 라벨링에 따라 상기 각 손가락 끝부분이 분할된 손가락 끝부분 이미지를 생성하는,전자 장치.

10

손을 포함하는 RGB 이미지 및 상기 RGB 이미지에 대응하는 깊이(depth) 이미지를 수신하는 단계;상기 RGB 이미지 및 깊이 이미지로부터 손 깊이 이미지를 추출하는 단계;상기 손 깊이 이미지를 손 구성요소 데이터 집합의 라벨링 항목에 대한 다수의 가중치(weight)들을 갖는 제1 컨볼루션 필터에 적용하여 상기 손 구성요소 특징 맵을 생성하는 단계; 및상기 손 깊이 이미지를 손가락 끝부분 데이터 집합의 라벨링 항목에 대한 다수의 가중치들을 갖는 제2 컨볼루션 필터에 적용하여 상기 손가락 끝부분 특징 맵을 생성하는 단계; 상기 손 구성요소 특징 맵으로부터 각 손 구성요소가 분할(segmentation)된 손 구성요소 이미지를 생성하고, 상기 손가락 끝부분 특징 맵으로부터 각 손가락 끝부분이 분할된 손가락 끝부분 이미지를 생성하는 단계;를 포함하는,전자 장치의 동작 방법.

11

제10항에 있어서,상기 손 깊이 이미지를 추출하는 단계는,상기 RGB 이미지를 객체 탐지 모델에 적용하여 손을 포함하는 경계 영역(bounding box)을 생성하는 단계; 및 상기 깊이 이미지에서 상기 경계 영역에 해당하는 영역으로부터 상기 손 깊이 이미지를 추출하는 단계;를 포함하는,전자 장치의 동작 방법.

12

제11항에 있어서,상기 손 깊이 이미지를 추출하는 단계는,상기 깊이 이미지에서 상기 경계 영역에 해당하는 영역에서 깊이 임계값보다 작은 깊이의 영역을 제외하고 상기 손 깊이 이미지를 추출하는 단계;를 포함하는,전자 장치의 동작 방법.

13

삭제

14

제10항에 있어서,상기 손 구성요소 특징 맵을 생성하는 단계 이전에,상기 손 구성요소 데이터 집합으로부터 상기 제1 컨볼루션 필터의 다수의 가중치들을 산출하는 단계; 및상기 손 구성요소 데이터 집합과 상기 손가락 끝부분 데이터 집합에서 동일한 라벨링 항목에 대하여, 상기 제1 컨볼루션 필터의 다수의 가중치들 중 적어도 하나를 이용하여 상기 제2 컨볼루션 필터의 다수의 가중치들을 산출하는 단계;를 더 포함하는,전자 장치의 동작 방법.

15

제10항에 있어서,상기 손 구성요소 특징 맵을 생성하는 단계 이전에,상기 손가락 끝부분 데이터 집합으로부터 상기 제2 컨볼루션 필터의 다수의 가중치들을 산출하는 단계; 및상기 손가락 끝부분 데이터 집합과 상기 손 구성요소 데이터 집합에서의 동일한 라벨링 항목에 대하여, 상기 제2 컨볼루션 필터의 다수의 가중치들 중 적어도 하나를 이용하여 상기 제1 컨볼루션 필터의 다수의 가중치들을 산출하는 단계;를 더 포함하는,전자 장치의 동작 방법.

16

제10항에 있어서,상기 손 구성요소 데이터 집합의 라벨링 항목은, 적어도 하나의 손가락, 배경, 손바닥 및 팔목 중 적어도 하나이고,손가락 끝부분 데이터 집합의 라벨링 항목은, 적어도 하나의 손가락 끝부분, 상기 배경, 상기 손바닥 및 상기 팔목 중 적어도 하나인,전자 장치의 동작 방법.

17

제10항에 있어서,상기 손 구성요소 이미지를 생성하는 단계는,상기 손 구성요소 특징 맵으로부터 계산된 대표 픽셀 값과 손 구성요소 데이터 집합의 라벨링 항목에 대한 대표 값을 비교하여 오차를 산출하는 단계;상기 오차가 제1 임계값보다 작을 경우, 상기 대표 픽셀 값에 대응하는 각 손 구성요소를 라벨링하는 단계; 및상기 라벨링에 따라 상기 각 손 구성요소가 분할된 손 구성요소 이미지를 생성하는 단계;를 포함하는,전자 장치의 동작 방법.

18

제10항에 있어서,상기 손가락 끝부분 이미지를 생성하는 단계는,상기 손가락 끝부분 특징 맵으로부터 각 손가락 구성요소에 대한 대표 픽셀 값과 손가락 끝부분 데이터 집합의 라벨링 항목에 대한 대표 값을 비교하여 오차를 산출하는 단계;상기 오차가 제2 임계값보다 작을 경우, 상기 대표 픽셀 값에 대응하는 각 손가락 끝부분을 라벨링하는 단계; 및상기 라벨링에 따라 상기 각 손가락 끝부분이 분할된 손가락 끝부분 이미지를 생성하는 단계;를 포함하는,전자 장치의 동작 방법.