몰입도 측정 방법으로서,특정 콘텐츠를 이용하거나 특정 작업을 수행하는 사용자를 촬영한 사용자 영상 정보와, 상기 사용자의 생체 신호 정보를 획득하는 단계;상기 사용자 영상 정보에 기초하여 상기 사용자의 시선 데이터 및 표정 데이터를 추출하고, 상기 생체 신호 정보에 기초하여 상기 사용자의 생체 데이터를 추출하는 단계; 및상기 시선 데이터, 표정 데이터 및 생체 데이터에 기초하여 상기 특정 콘텐츠 또는 상기 특정 작업에 대한 상기 사용자의 몰입도를 판단하는 단계를 포함하되,상기 사용자의 몰입도를 판단하는 단계는,상기 시선 데이터, 상기 표정 데이터 및 상기 생체 데이터를 기초로 학습 모델을 이용하여 상기 사용자의 몰입도를 판단하는 단계를 포함하고,상기 학습 모델은,상기 시선 데이터, 상기 표정 데이터 및 상기 생체 데이터를 입력으로 하여 몰입 여부 및 몰입 확률이 출력되도록 훈련된 학습 모델이며,상기 학습 모델은,몰입도 판단을 위한 초기 모델을 구성하는 단계;상기 초기 모델에 대해, 훈련을 위해 미리 취득된 사용자의 생체 신호 정보 및 사용자 영상 정보와 해당 생체 신호 정보 및 사용자 영상 정보에 대응하는 몰입 여부의 레이블을 포함하는 훈련 데이터를 입력 받는 단계; 및상기 훈련 데이터를 이용하여 상기 초기 모델에 지도 학습 방식의 훈련을 수행하는 단계를 포함하는 훈련 페이즈(phase)에 의해 훈련된 학습 모델이고,상기 레이블은 사용자의 설문 조사 결과에 의해 판정된 몰입도를 기초로 하여 결정되며,상기 학습 모델은,각각 특징 별로 구분된 복수의 변수들을 포함하는 상기 시선 데이터, 상기 표정 데이터 및 상기 생체 데이터를 입력으로 하며, 상기 시선 데이터는 고정 비율, 고정 기간, 신속안구변화 비율, 신속안구변화 기간, 신속안구변화 진폭, 신속안구변화 속도 및 동공 직경 변경을 포함하는 시선 특징 유형을 기반으로 하는 변수들을 포함하고, 상기 생체 데이터는 심박수, 맥박, 체온, 피부전도도를 포함하는 생체 특징 유형을 기반으로 하는 변수들을 포함하며, 상기 표정 데이터는 얼굴의 특징점의 위치 및 상기 특징점의 움직임 벡터를 기반으로 한 표정 특징 유형에 따른 변수들을 포함하는,몰입도 측정 방법.

제 1 항에 있어서,상기 획득하는 단계는,상기 특정 콘텐츠 이용하기 전 또는 상기 특정 작업을 수행하기 전에, 설정 시간 동안 상기 사용자를 촬영하여 사용자 영상 정보를 획득하고, 상기 설정 시간 동안 상기 사용자의 생체 신호를 측정하여 생체 신호 정보를 획득하는 단계; 및상기 설정 시간 동안 획득한 사용자 영상 정보 및 생체 신호 정보를 몰입도 예측을 위한 베이스 라인으로 설정하는 단계를 포함하는,몰입도 측정 방법.

제 2 항에 있어서,상기 추출하는 단계는,상기 획득한 사용자 영상 정보와 생체 신호 정보에서 설정 구간의 정보를 분리하는 단계;상기 설정 구간의 정보에서 상기 시선 데이터, 상기 표정 데이터 및 상기 생체 데이터를 각각 추출하는 단계; 및상기 추출한 시선 데이터, 표정 데이터 및 생체 데이터 각각을 표준화 하는 단계를 포함하는,몰입도 측정 방법.

삭제

삭제

제 1 항에 있어서,상기 특정 콘텐츠 이용 시간 또는 상기 특정 작업 수행 시간에 따른 몰입 여부 및 몰입 확률의 변화를 분석하는 단계를 더 포함하는,몰입도 측정 방법.

제 6 항에 있어서,상기 분석 결과에 기초하여, 상기 특정 콘텐츠의 장면을 세분화하여 몰입 여부 및 몰입 확률을 매칭하는 단계를 더 포함하는,몰입도 측정 방법.

제 6 항에 있어서,상기 사용자가 현재 특정 콘텐츠를 이용 중이거나 특정 작업을 수행 중일 때, 상기 사용자가 몰입 중인 것으로 판단되나 몰입 판단의 확률이 제1 기준치보다 낮거나 상기 사용자가 몰입 중이 아닌 것으로 판단되는 경우, 알람을 출력하는 단계를 포함하는,몰입도 측정 방법.

제 7 항에 있어서,상기 사용자가 현재 특정 콘텐츠를 이용 중인 동안, 상기 사용자가 몰입 중인 것으로 판단되나 몰입 판단의 확률이 제1 기준치보다 낮거나, 상기 사용자가 몰입 중이 아닌 것으로 판단되는 경우, 상기 사용자가 몰입 중인 것으로 판단되고 몰입 판단의 확률이 제2 기준치 이상으로 높았던 가장 최근의 콘텐츠 부분부터 다시 재생을 시작하는 단계를 더 포함하는,몰입도 측정 방법.

몰입도 측정 장치로서,메모리; 및상기 메모리와 연결되고, 상기 메모리에 포함된 컴퓨터 판독 가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,상기 적어도 하나의 프로세서는,특정 콘텐츠를 이용하거나 특정 작업을 수행하는 사용자를 촬영한 사용자 영상 정보와, 상기 사용자의 생체 신호 정보를 획득하는 동작,상기 사용자 영상 정보에 기초하여 상기 사용자의 시선 데이터 및 표정 데이터를 추출하고, 상기 생체 신호 정보에 기초하여 상기 사용자의 생체 데이터를 추출하는 동작, 및상기 시선 데이터, 표정 데이터 및 생체 데이터에 기초하여 상기 특정 콘텐츠 또는 상기 특정 작업에 대한 상기 사용자의 몰입도를 판단하는 동작을 수행하도록 구성되며,상기 사용자의 몰입도를 판단하는 동작은,상기 시선 데이터, 상기 표정 데이터 및 상기 생체 데이터를 기초로 학습 모델을 이용하여 상기 사용자의 몰입도를 판단하는 동작을 포함하고,상기 학습 모델은,상기 시선 데이터, 상기 표정 데이터 및 상기 생체 데이터를 입력으로 하여 몰입 여부 및 몰입 확률이 출력되도록 훈련된 학습 모델이며,상기 학습 모델은,몰입도 예측을 위한 초기 모델을 구성하는 단계;상기 초기 모델에 대해, 훈련을 위해 미리 취득된 사용자의 생체 신호 정보 및 사용자 영상 정보와 해당 생체 신호 정보 및 사용자 영상 정보에 대응하는 몰입 여부의 레이블을 포함하는 훈련 데이터를 입력 받는 단계; 및상기 훈련 데이터를 이용하여 상기 초기 모델에 지도 학습 방식의 훈련을 수행하는 단계를 포함하는 훈련 페이지(phase)에 의해 훈련된 학습 모델이고,상기 레이블은 사용자의 설문 조사 결과에 의해 판정된 몰입도를 기초로 하여 결정되며,상기 학습 모델은,각각 특징 별로 구분된 복수의 변수들을 포함하는 상기 시선 데이터, 상기 표정 데이터 및 상기 생체 데이터를 입력으로 하며, 상기 시선 데이터는 고정 비율, 고정 기간, 신속안구변화 비율, 신속안구변화 기간, 신속안구변화 진폭, 신속안구변화 속도 및 동공 직경 변경을 포함하는 시선 특징 유형을 기반으로 하는 변수들을 포함하고, 상기 생체 데이터는 심박수, 맥박, 체온, 피부전도도를 포함하는 생체 특징 유형을 기반으로 하는 변수들을 포함하며, 상기 표정 데이터는 얼굴의 특징점의 위치 및 상기 특징점의 움직임 벡터를 기반으로 한 표정 특징 유형에 따른 변수들을 포함하는,몰입도 측정 장치.

제 10 항에 있어서,상기 사용자를 촬영한 사용자 영상 정보와, 상기 사용자의 생체 신호 정보를 획득하는 동작은,상기 특정 콘텐츠 이용하기 전 또는 상기 특정 작업을 수행하기 전에, 설정 시간 동안 상기 사용자를 촬영하여 사용자 영상 정보를 획득하고, 상기 설정 시간 동안 상기 사용자의 생체 신호를 측정하여 생체 신호 정보를 획득하는 동작, 및상기 설정 시간 동안 획득한 사용자 영상 정보 및 생체 신호 정보를 몰입도 예측을 위한 베이스 라인으로 설정하는 동작을 포함하는,몰입도 측정 장치.

제 10 항에 있어서,상기 추출하는 동작은,상기 획득한 사용자 영상 정보와 생체 신호 정보에서 설정 구간의 정보를 분리하는 동작,상기 설정 구간의 정보에서 상기 시선 데이터, 상기 표정 데이터 및 상기 생체 데이터를 각각 추출하는 동작, 및상기 추출한 시선 데이터, 표정 데이터 및 생체 데이터 각각을 표준화 하는 동작을 포함하는,몰입도 측정 장치.

삭제

삭제

제 10 항에 있어서,상기 적어도 하나의 프로세서는,상기 특정 콘텐츠 이용 시간 또는 상기 특정 작업 수행 시간에 따른 몰입 여부 및 몰입 확률의 변화를 분석하는 동작을 더 수행하도록 구성되는,몰입도 측정 장치.

제 15 항에 있어서,상기 적어도 하나의 프로세서는,상기 분석 결과에 기초하여, 상기 특정 콘텐츠의 장면을 세분화하여 몰입 여부 및 몰입 확률을 매칭하는 동작을 더 수행하도록 구성되는,몰입도 측정 장치.

제 15 항에 있어서,상기 적어도 하나의 프로세서는,상기 사용자가 현재 특정 콘텐츠를 이용 중이거나 특정 동작을 수행 중일 때, 상기 사용자가 몰입 중인 것으로 판단되나 몰입 판단의 확률이 제1 기준치보다 낮거나 상기 사용자가 몰입 중이 아닌 것으로 판단되는 경우, 알람을 출력하는 동작을 포함하는,몰입도 측정 장치.

제 16 항에 있어서,상기 사용자가 현재 특정 콘텐츠를 이용 중인 동안, 상기 사용자가 몰입 중인 것으로 판단되나 몰입 판단의 확률이 제1 기준치보다 낮거나, 상기 사용자가 몰입 중이 아닌 것으로 판단되는 경우, 상기 사용자가 몰입 중인 것으로 판단되고 몰입 판단의 확률이 제2 기준치 이상으로 높았던 가장 최근의 콘텐츠 부분부터 다시 재생을 시작하는 단계를 더 포함하는,몰입도 측정 장치.