카메라, 디스플레이부, 프로세서가 구비된 심박 측정 장치를 이용한 심박 측정 방법에 있어서,사용자 정보를 획득하는 과정;상기 카메라에 의해 촬영된 사용자의 모바일 얼굴 영상을 실시간으로 획득하는 과정;상기 프로세서에 의해 상기 모바일 얼굴 영상 중 서로 연속적으로 위치한 제1 소정 개수의 이미지 프레임들을 추출하는 과정;상기 서로 연속적으로 위치한 제1 소정 개수의 이미지 프레임들로 구성된 볼륨 형태의 데이터를 3차원 컨볼루션 신경망으로 구성된 예측기 모델에 입력하여 rPPG 신호를 예측하는 과정; 및상기 프로세서에 의해 상기 예측된 rPPG 신호에 기초해 사용자의 심박을 획득하는 과정을 포함하며,상기 서로 연속적으로 위치한 제1 소정 개수의 이미지 프레임들은 복수의 비트맵 이미지들로 변환되고, 상기 복수의 비트맵 이미지들은 얼굴 영상 텐서로 변경되며,상기 예측된 rPPG 신호는 서로 연속적으로 위치한 상기 제1 소정 개수의 이미지 프레임들의 시간적 정보를 포함하며,상기 디스플레이부를 통해 사용자에게 얼굴 영상 촬영 화면을 제공하고,상기 얼굴 영상 촬영 화면은 실시간 영상이 보여지는 실시간 영상 표시 영역, 상기 실시간 영상 표시 영역 내부에 구비되는 얼굴 가이드 영역, 사용자의 심박을 예측하는 진행 과정을 보여주는 진행 과정 표시 영역을 포함하며,상기 진행 과정 표시 영역은 사용자 얼굴 영상에 대한 심박을 예측하는 진행 상태 정도를 문자 및 도형으로 제공하는 것을 특징으로 하는,실시간 딥러닝 기반 모바일 얼굴 영상을 이용한 심박 측정 방법.

제1항에 있어서,상기 카메라에 의해 촬영된 사용자의 모바일 얼굴 영상을 실시간으로 획득하는 과정은, 상기 카메라에 의해 실시간으로 촬영되는 사용자의 얼굴 영상과 얼굴 가이드 영역이 일치하는 경우 제1 소정 시간 간격으로 상기 사용자를 촬영하여 복수의 모바일 얼굴 영상을 획득하는 과정을 포함하는,실시간 딥러닝 기반 모바일 얼굴 영상을 이용한 심박 측정 방법.

제1항에 있어서,상기 제1 소정 개수의 이미지 프레임들은 90 프레임에서 160 프레임 사이인 것을 특징으로 하는,실시간 딥러닝 기반 모바일 얼굴 영상을 이용한 심박 측정 방법.

제2항에 있어서, 상기 프로세서에 의해 상기 예측된 rPPG 신호에 기초해 사용자의 심박을 획득하는 과정은, 상기 복수의 예측된 rPPG 신호에 기초해 사용자의 심박 값을 계산하고, 제2 소정 개수의 심박 값을 평균한 평균 심박 값을 획득하는 과정을 포함하는, 실시간 딥러닝 기반 모바일 얼굴 영상을 이용한 심박 측정 방법.

제1항에 있어서,상기 예측기 모델은 상기 사용자 정보에 기초해 다른 학습 데이터로 학습된 예측기 모델로 구성되며,상기 심박은 상기 사용자의 나이대에 대응한 나이 가중치, 상기 사용자의 성별에 대응한 성별 가중치, 상기 사용자의 현상태에 대응한 상태 가중치를 적용하여 계산된 심박 값인 것을 특징으로 하는, 실시간 딥러닝 기반 모바일 얼굴 영상을 이용한 심박 측정 방법.

제1항에 있어서,상기 예측기 모델은, 대상자의 얼굴 영상 및 상기 얼굴 영상을 촬영하면서 동시에 측정된 상기 대상자의 실제 심박 신호를 학습 데이터로 학습된 인공지능 모델인 것을 특징으로 하는, 실시간 딥러닝 기반 모바일 얼굴 영상을 이용한 심박 측정 방법.

제6항에 있어서,상기 예측기 모델의 손실함수는 상기 대상자의 얼굴 영상으로 추청되는 심박 신호와 실제 심박 신호의 차이가 최소화되는 방향으로 학습되는 것을 특징으로 하는, 실시간 딥러닝 기반 모바일 얼굴 영상을 이용한 심박 측정 방법.

카메라, 디스플레이부, 프로세서가 구비된 심박 측정 장치에 있어서,상기 프로세서는, 사용자 정보를 획득하는 과정;상기 카메라에 의해 촬영된 사용자의 모바일 얼굴 영상을 실시간으로 획득하는 과정;상기 프로세서에 의해 상기 모바일 얼굴 영상 중 서로 연속적으로 위치한 제1 소정 개수의 이미지 프레임들을 추출하는 과정;상기 서로 연속적으로 위치한 제1 소정 개수의 이미지 프레임들로 구성된 볼륨 형태의 데이터를 3차원 컨볼루션 신경망으로 구성된 예측기 모델에 입력하여 rPPG 신호를 예측하는 과정; 및상기 프로세서에 의해 상기 예측된 rPPG 신호에 기초해 사용자의 심박을 획득하는 과정을 수행하며,상기 서로 연속적으로 위치한 제1 소정 개수의 이미지 프레임들은 복수의 비트맵 이미지들로 변환되고, 상기 복수의 비트맵 이미지들은 얼굴 영상 텐서로 변경되며,상기 예측된 rPPG 신호는 서로 연속적으로 위치한 상기 제1 소정 개수의 이미지 프레임들의 시간적 정보를 포함하며,상기 디스플레이부를 통해 사용자에게 얼굴 영상 촬영 화면을 제공하고,상기 얼굴영상 촬영 화면은 실시간 영상이 보여지는 실시간 영상 표시 영역, 상기 실시간 영상 표시 영역 내부에 구비되는 얼굴 가이드 영역, 사용자의 심박을 예측하는 진행 과정을 보여주는 진행 과정 표시 영역을 포함하며,상기 진행 과정 표시 영역은 사용자 얼굴 영상에 대한 심박을 예측하는 진행 상태 정도를 문자 및 도형으로 제공하는 것을 특징으로 하는,실시간 딥러닝 기반 모바일 얼굴 영상을 이용한 심박 측정 장치.

제8항에 있어서,상기 카메라에 의해 촬영된 사용자의 모바일 얼굴 영상을 실시간으로 획득하는 과정은, 상기 카메라에 의해 실시간으로 촬영되는 사용자의 얼굴 영상과 얼굴 가이드 영역이 일치하는 경우 제1 소정 시간 간격으로 상기 사용자를 촬영하여 복수의 모바일 얼굴 영상을 획득하는 과정을 포함하는,실시간 딥러닝 기반 모바일 얼굴 영상을 이용한 심박 측정 장치.

제8항에 있어서,상기 제1 소정 개수의 이미지 프레임들은 90 프레임에서 160 프레임 사이인 것을 특징으로 하는,실시간 딥러닝 기반 모바일 얼굴 영상을 이용한 심박 측정 장치.

제9항에 있어서, 상기 프로세서에 의해 상기 예측된 rPPG 신호에 기초해 사용자의 심박을 획득하는 과정은, 상기 복수의 예측된 rPPG 신호에 기초해 사용자의 심박 값을 계산하고, 제2 소정 개수의 심박 값을 평균한 평균 심박 값을 획득하는 과정을 포함하는, 실시간 딥러닝 기반 모바일 얼굴 영상을 이용한 심박 측정 장치.

제8항에 있어서,상기 예측기 모델은 상기 사용자 정보에 기초해 다른 학습 데이터로 학습된 예측기 모델로 구성되며,상기 심박은 상기 사용자의 나이대에 대응한 나이 가중치, 상기 사용자의 성별에 대응한 성별 가중치, 상기 사용자의 현상태에 대응한 상태 가중치를 적용하여 계산된 심박 값인 것을 특징으로 하는, 실시간 딥러닝 기반 모바일 얼굴 영상을 이용한 심박 측정 장치.

제8항에 있어서,상기 예측기 모델은, 대상자의 얼굴 영상 및 상기 얼굴 영상을 촬영하면서 동시에 측정된 상기 대상자의 실제 심박 신호를 학습 데이터로 학습된 인공지능 모델인 것을 특징으로 하는, 실시간 딥러닝 기반 모바일 얼굴 영상을 이용한 심박 측정 장치.

제13항에 있어서,상기 예측기 모델의 손실함수는 상기 대상자의 얼굴 영상으로 추청되는 심박 신호와 실제 심박 신호의 차이가 최소화되는 방향으로 학습되는 것을 특징으로 하는, 실시간 딥러닝 기반 모바일 얼굴 영상을 이용한 심박 측정 장치.

컴퓨팅 장치와 결합되어,사용자 정보를 획득하는 과정;카메라에 의해 촬영된 사용자의 모바일 얼굴 영상을 실시간으로 획득하는 과정;프로세서에 의해 상기 모바일 얼굴 영상 중 서로 연속적으로 위치한 제1 소정 개수의 이미지 프레임들을 추출하는 과정;상기 서로 연속적으로 위치한 제1 소정 개수의 이미지 프레임들로 구성된 볼륨 형태의 데이터를 3차원 컨볼루션 신경망으로 구성된 예측기 모델에 입력하여 rPPG 신호를 예측하는 과정; 및상기 프로세서에 의해 상기 예측된 rPPG 신호에 기초해 사용자의 심박을 획득하는 과정을 실행시키기 위하여 컴퓨터로 판독가능한 기록매체에 저장되며,상기 서로 연속적으로 위치한 제1 소정 개수의 이미지 프레임들은 복수의 비트맵 이미지들로 변환되고, 상기 복수의 비트맵 이미지들은 얼굴 영상 텐서로 변경되며,상기 예측된 rPPG 신호는 서로 연속적으로 위치한 상기 제1 소정 개수의 이미지 프레임들의 시간적 정보를 포함하며,상기 사용자의 모바일 얼굴 영상을 실시간으로 획득하는 과정을 통해 사용자에게 얼굴 영상 촬영 화면을 제공하고,상기 얼굴영상 촬영 화면은 실시간 영상이 보여지는 실시간 영상 표시 영역, 상기 실시간 영상 표시 영역 내부에 구비되는 얼굴 가이드 영역, 사용자의 심박을 예측하는 진행 과정을 보여주는 진행 과정 표시 영역을 포함하며,상기 진행 과정 표시 영역은 사용자 얼굴 영상에 대한 심박을 예측하는 진행 상태 정도를 문자 및 도형으로 제공하는 것을 특징으로 하는,실시간 딥러닝 기반 모바일 얼굴 영상을 이용한 심박 측정 컴퓨터 프로그램.