멀티모달 네트워크 기반 정확도 기반 역손실 가중치 및 멀티모달 앙상블 분류를 활용한 EEG 기반 수면 단계 분류
Multimodal Network with Accuracy-based Inverse Loss Weighting and Multimodal Ensemble Classification for EEG-based Sleep Stage Classification
특허 요약
다중 해상도 및 듀얼 브랜치 구조를 활용한 자동 수면 단계 분류 장치 및 방법이 개시된다. 일 실시예에 따른 수면 단계 분류 방법은 적어도 프로세서(processor)를 포함하는 컴퓨팅 장치에 의해 수행되고, 각각이 미리 정해진 길이를 갖는 복수의 뇌파 신호들을 포함하는 타겟 뇌파 신호 시퀀스를 획득하는 단계, 상기 복수의 뇌파 신호 신호들 각각을 주파수 영역으로 변환하여 시간-주파수 영역 신호 시퀀스를 획득하는 단계, 상기 타겟 뇌파 신호 시퀀스로부터 시간 영역의 특징 벡터를 생성하는 단계, 상기 시간-주파수 영역 신호 시퀀스로부터 시간-주파수 영역의 특징 벡터를 생성하는 단계, 상기 시간 영역의 특징 벡터, 상기 시간-주파수 영역의 특징 벡터, 및 상기 시간 영역의 특징 벡터와 상기 시간-주파수 영역의 특징 벡터의 합인 조인트 특징 벡터 각각에 대한 확률 분포 벡터를 생성하는 단계, 상기 확률 분포 벡터를 기초로, 각 도메인에서 각 클래스별 확률을 산출하는 단계, 및 산출된 클래스별 확률을 기초로 상기 복수의 뇌파 신호들 각각의 최종 수면 단계를 도출하는 단계를 포함한다.
청구항
번호청구항
1

적어도 프로세서(processor)를 포함하는 컴퓨팅 장치에 의해 수행되는 수면 단계 분류 방법에 있어서,각각이 미리 정해진 길이를 갖는 복수의 뇌파 신호들을 포함하는 타겟 뇌파 신호 시퀀스를 획득하는 단계;상기 복수의 뇌파 신호 신호들 각각을 주파수 영역으로 변환하여 시간-주파수 영역 신호 시퀀스를 획득하는 단계;상기 타겟 뇌파 신호 시퀀스로부터 시간 영역의 특징 벡터를 생성하는 단계;상기 시간-주파수 영역 신호 시퀀스로부터 시간-주파수 영역의 특징 벡터를 생성하는 단계;상기 시간 영역의 특징 벡터, 상기 시간-주파수 영역의 특징 벡터, 및 상기 시간 영역의 특징 벡터와 상기 시간-주파수 영역의 특징 벡터의 합인 조인트 특징 벡터 각각에 대한 확률 분포 벡터를 생성하는 단계;상기 확률 분포 벡터를 기초로, 각 도메인에서 각 클래스별 확률을 산출하는 단계; 및산출된 클래스별 확률을 기초로 상기 복수의 뇌파 신호들 각각의 최종 수면 단계를 도출하는 단계를 포함하는 수면 단계 분류 방법.

2

제1항에 있어서,상기 시간-주파수 영역 신호 시퀀스를 획득하는 단계는, 상기 복수의 뇌파 신호들 각각에 대하여 STFT(Short-Time Fourier Transform)을 적용하는,수면 단계 분류 방법.

3

제2항에 있어서,상기 시간 영역의 특징 벡터를 생성하는 단계는,멀티-브랜치 CNN(Convolutional Neural Network)의 각 서브CNN 브랜치에 상기 복수의 뇌파 신호들을 입력하는 단계;상기 서브 CNN 브랜치들 각각의 출력에 멀티-헤드 셀프-어텐션(Multi-Head Self-Attention, MHSA) 가중합을 적용하여 제1 특징 벡터를 생성하는 단계; 및상기 제1 특징 벡터를 제1 양방향 TCN(Temporal Convolutional Network)에 입력하여 상기 시간 영역의 특징 벡터를 도출하는 단계를 포함하는,수면 단계 분류 방법.

4

제3항에 있어서,상기 멀티-브랜치 CNN은 각각이 컨볼루션 레이어, 배치 정규화 레이어, 맥스풀링 레이어, 및 에버리지 풀링 레이어를 포함하는 5개의 서브 CNN 브랜치들을 포함하고,상기 컨볼루션 레이어의 커널 크기는 미리 정해진 5개의 주파수 영역 중 어느 하나에 대응되는 크기를 갖는,수면 단계 분류 방법.

5

제4항에 있어서,상기 시간-주파수 영역의 특징 벡터를 생성하는 단계는,제2 양방향 TCN에 시간-주파수 영역 신호들을 입력하는 단계;상기 제2 양방향 TCN의 출력에 멀티-헤드 셀프-어텐션 가중합을 적용하여 제2 특징 벡터를 생성하는 단계; 및상기 제2 특징 벡터를 제3 양방향 TCN에 입력하여 상기 시간-주파수 영역의 특징 벡터를 도출하는 단계를 포함하는,수면 단계 분류 방법.

6

제5항에 있어서,상기 확률 분포 벡터를 생성하는 단계는,상기 시간 영역의 특징 벡터, 상기 시간-주파수 영역의 특징 벡터, 및 상기 조인트 특징 벡터 각각을 완전 연결 레이어(Fully Connected layer, FC 레이어)와 소프트맥스(Softmax) 레이어에 투과하여 상기 확률 분포 벡터를 생성하는,수면 단계 분류 방법.

7

제6항에 있어서,상기 최종 수면 단계를 도출하는 단계는,각 클래스별로 상기 시간 영역의 특징 벡터에 대응하는 확률, 상기 시간-주파수 영역의 특징 벡터에 대응하는 확률, 및 상기 조인트 특징 벡터에 대응하는 확률을 합산하는 단계; 및가장 높은 합산 확률을 나타내는 클래스를 상기 최종 수면 단계로 결정하는 단계를 포함하는,수면 단계 분류 방법.