RGB-NIR 융합 rPPG 기반 비접촉 심박 추정 딥러닝

RGB-NIR Fusion for Non-contact rPPG-based Heart Rate Estimation

연구 내용

카메라 영상에서 rPPG 신호를 안정적으로 추정하기 위해 RGB와 NIR 정보를 융합하는 self-supervised transformer 기반 심박 추정 연구

원격 광용적맥파(rPPG)는 비접촉 방식으로 심박을 추정할 수 있어 건강 모니터링에 활용됩니다. 본 연구는 RGB-only 접근이 머리 움직임과 조명 변화에 민감하다는 한계를 보완하기 위해 RGB와 near-infrared(NIR) 영상의 spatiotemporal 표현을 Fusion Video Vision Transformer에서 통합합니다. self-attention으로 상호보완적인 특징을 결합하고, contrastive learning을 통해 레이블 의존도를 낮춘 end-to-end 표현 학습을 수행합니다. 이를 통해 다양한 촬영 환경에서도 견고한 심박 추정을 지향합니다.

관련 프로젝트

0건

연구 흐름

초기에는 rPPG 추정에서 기존 RGB 기반 supervised feature learning의 취약점을 분석하고, transformer 구조로 영상의 장·단기 spatiotemporal 의존성을 동시에 모델링하는 방향으로 연구를 수행했습니다. 이후 RGB와 NIR의 상호보완성을 self-attention 융합으로 결합하는 학습 프레임워크를 확립하고, contrastive learning 기반 self-supervised 학습으로 라벨 부족 문제를 완화했습니다. 최근에는 모바일 환경을 전제로 하는 실시간 심박 측정 기술과 연계하여, 영상 기반 예측 모델의 적용성을 강화하는 흐름으로 발전하고 있습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

실시간 비접촉 건강 모니터링
카메라 기반 웨어러블 대체 진단 보조
조명 변화 강건 심박 추정
모바일 얼굴 영상 분석 파이프라인
자차/조깅 환경 심박 추정 고도화
원격 환자 모니터링 프로토콜
스마트 헬스케어 서비스용 스트리밍 분석
심박 기반 생체피드백 인터페이스
촬영 환경 적응형 학습 체계
의료기기급 rPPG 알고리즘 검증