사용자 이미지 또는 영상을 입력 받는 입력부;입력 받은 상기 사용자 이미지 또는 영상 내 관절영역의 2차원 키 포인트(key point) 및 상기 관절영역에 대한 가시성 지표(visibility score)를 추출하고, 상기 2차원 키 포인트 및 상기 가시성 지표에 대한 전처리 작업을 수행한 후 상기 2차원 키 포인트 및 상기 가시성 지표를 연결(concatenation)하여 입력 데이터를 생성하는 추출부; 및상기 입력 데이터를 학습 모델에 입력하여 상기 사용자 이미지 또는 영상에 대한 3차원 키 포인트를 도출하는 3차원 포즈 추정부를 포함하는, 가시성 지표를 활용한 3차원 포즈 추정 시스템.

청구항 1에 있어서,상기 2차원 키 포인트는, 상기 관절영역의 x 좌표 및 y 좌표를 포함하며,상기 가시성 지표는, 상기 관절영역의 가시성 정도에 따라 0 ~ 1 사이의 값으로 표현되는 값인, 가시성 지표를 활용한 3차원 포즈 추정 시스템.

청구항 1에 있어서,상기 추출부는, 상기 2차원 키 포인트 및 상기 가시성 지표에 각각 합성곱 신경망, 정규화 함수 및 ReLU(Rectified Linear Unit) 활성 함수를 순차적으로 적용함으로써 상기 전처리 작업을 수행하는, 가시성 지표를 활용한 3차원 포즈 추정 시스템.

청구항 1에 있어서,상기 학습 모델은, 확장된 합성곱 신경망(Dilated Convolutional Neural Network)인, 가시성 지표를 활용한 3차원 포즈 추정 시스템.

청구항 4에 있어서,상기 3차원 포즈 추정부는, 상기 확장된 합성곱 신경망을 통해 출력되는 3차원 키 포인트와 상기 사용자 이미지 또는 영상에 대한 실제 3차원 관절 좌표 값(ground truth)을 비교하여 상기 확장된 합성곱 신경망의 파라미터를 갱신하는, 가시성 지표를 활용한 3차원 포즈 추정 시스템.

청구항 5에 있어서,상기 확장된 합성곱 신경망의 목적 함수(objective function)는, 아래의 수학식 1과 같이 표현되는, 가시성 지표를 활용한 3차원 포즈 추정 시스템.[수학식 1](여기서, L은 상기 확장된 합성곱 신경망의 목적 함수, T는 전체 데이터의 개수, N은 하나의 객체에 대한 관절 좌표의 개수, θ는 상기 확장된 합성곱 신경망의 파라미터, xi는 상기 입력 데이터, f(xi, θ)는 상기 파라미터와 상기 입력 데이터를 기반으로 상기 확장된 합성곱 신경망에서 출력되는 3차원 키 포인트, 는 실제 3차원 관절 좌표 값을 각각 나타냄)

청구항 6에 있어서,상기 3차원 포즈 추정부는, 아래의 수학식 2와 같이 상기 목적 함수를 최소화시키는 방향으로 상기 파라미터를 최적화시키는, 가시성 지표를 활용한 3차원 포즈 추정 시스템.[수학식 2]

청구항 7에 있어서,상기 파라미터의 최적화 방식은, Adam(Adaptive moment estimation) 기법인, 가시성 지표를 활용한 3차원 포즈 추정 시스템.

입력부에서, 사용자 이미지 또는 영상을 입력 받는 단계;추출부에서, 입력 받은 상기 사용자 이미지 또는 영상 내 관절영역의 2차원 키 포인트(key point) 및 상기 관절영역에 대한 가시성 지표(visibility score)를 추출하는 단계;상기 추출부에서, 상기 2차원 키 포인트 및 상기 가시성 지표에 대한 전처리 작업을 수행하는 단계;상기 추출부에서, 상기 2차원 키 포인트 및 상기 가시성 지표를 연결(concatenation)하여 입력 데이터를 생성하는 단계; 및상기 3차원 포즈 추정부에서, 상기 입력 데이터를 학습 모델에 입력하여 상기 사용자 이미지 또는 영상에 대한 3차원 키 포인트를 도출하는 단계를 포함하는, 가시성 지표를 활용한 3차원 포즈 추정 방법.

청구항 9에 있어서,상기 2차원 키 포인트는, 상기 관절영역의 x 좌표 및 y 좌표를 포함하며,상기 가시성 지표는, 상기 관절영역의 가시성 정도에 따라 0 ~ 1 사이의 값으로 표현되는 값인, 가시성 지표를 활용한 3차원 포즈 추정 방법.

청구항 9에 있어서,상기 전처리 작업을 수행하는 단계는, 상기 2차원 키 포인트 및 상기 가시성 지표에 각각 합성곱 신경망, 정규화 함수 및 ReLU(Rectified Linear Unit) 활성 함수를 순차적으로 적용함으로써 상기 전처리 작업을 수행하는, 가시성 지표를 활용한 3차원 포즈 추정 방법.

청구항 9에 있어서,상기 학습 모델은, 확장된 합성곱 신경망(Dilated Convolutional Neural Network)인, 가시성 지표를 활용한 3차원 포즈 추정 방법.

청구항 12에 있어서,상기 3차원 키 포인트를 도출하는 단계 이후,상기 3차원 포즈 추정부에서, 상기 확장된 합성곱 신경망을 통해 출력되는 3차원 키 포인트와 상기 사용자 이미지 또는 영상에 대한 실제 3차원 관절 좌표 값(ground truth)을 비교하여 상기 확장된 합성곱 신경망의 파라미터를 갱신하는 단계를 더 포함하는, 가시성 지표를 활용한 3차원 포즈 추정 방법.

청구항 13에 있어서,상기 확장된 합성곱 신경망의 목적 함수(objective function)는, 아래의 수학식 1과 같이 표현되는, 가시성 지표를 활용한 3차원 포즈 추정 방법.[수학식 1](여기서, L은 상기 확장된 합성곱 신경망의 목적 함수, T는 전체 데이터의 개수, N은 하나의 객체에 대한 관절 좌표의 개수, θ는 상기 확장된 합성곱 신경망의 파라미터, xi는 상기 입력 데이터, f(xi, θ)는 상기 파라미터와 상기 입력 데이터를 기반으로 상기 확장된 합성곱 신경망에서 출력되는 3차원 키 포인트, 는 실제 3차원 관절 좌표 값을 각각 나타냄)

청구항 14에 있어서,상기 확장된 합성곱 신경망의 파라미터를 갱신하는 단계는, 아래의 수학식 2와 같이 상기 목적 함수를 최소화시키는 방향으로 상기 파라미터를 최적화시키는, 가시성 지표를 활용한 3차원 포즈 추정 방법.[수학식 2]

청구항 15에 있어서상기 파라미터의 최적화 방식은, Adam(Adaptive moment estimation) 기법인, 가시성 지표를 활용한 3차원 포즈 추정 방법.