김형국 연구실
전자융합공학과
김형국
김형국 연구실은 전자융합공학과를 기반으로 멀티미디어 신호처리, 인공지능, 임베디드 시스템, IoT 융합 분야에서 세계적인 연구 역량을 보유하고 있습니다. 연구실은 뇌파(EEG), 오디오, 비디오 등 다양한 멀티모달 신호를 활용한 감정 및 스트레스 인식, 오디오 신호처리, 멀티미디어 콘텐츠 분석, 그리고 지능형 임베디드 시스템 개발에 중점을 두고 있습니다.
특히, 최근에는 EEG 신호와 오디오·비디오 신호를 융합한 딥러닝 기반 감정 인식 및 스트레스 측정 기술을 선도적으로 개발하고 있습니다. EEGNet, TCN, Conformer, BGRU 등 첨단 신경망 모델을 활용하여 시공간적 특징을 효과적으로 추출하고, Contrastive Learning, Attention Mechanism 등 최신 기법을 적용하여 신호 간 상호작용을 정밀하게 분석합니다. 이러한 기술은 헬스케어, 감성 로봇, 맞춤형 콘텐츠 추천 등 다양한 산업 분야에 적용되고 있습니다.
오디오 신호처리 분야에서는 잡음 제거, 음성 향상, 오디오 핑거프린팅, 음악/음성 분리, 사운드 이벤트 검출 등 다양한 신호처리 알고리즘을 개발하여, 실제 환경에서의 강인한 멀티미디어 서비스 구현을 목표로 하고 있습니다. 또한, 음악 무드 및 장르 분류, 오디오 기반 영상 하이라이트 추출, 오디오-비주얼 통합 콘텐츠 분석 등 멀티미디어 데이터의 자동화된 인덱싱 및 검색 기술도 활발히 연구하고 있습니다.
임베디드 시스템 및 IoT 응용 분야에서는 스마트폰, 웨어러블, 임베디드 하드웨어 등 다양한 플랫폼에서 실시간으로 동작하는 감정 인식, 행동 인식, 긴급상황 감지 시스템을 개발하고 있습니다. 청각장애인 및 난청인을 위한 사운드 이벤트 검출 및 햅틱 변환 시스템, 실내 긴급상황 자동 감지 시스템, 인간 행동 기반 음악 추천 시스템 등 사회적 가치가 높은 응용 연구도 활발히 수행 중입니다.
연구실은 블록체인, 사물인터넷, 엣지 컴퓨팅 등 최신 ICT 기술과 융합하여, 더욱 지능적이고 안전한 스마트 환경을 구축하는 데 기여하고 있습니다. 앞으로도 인공지능 기반 멀티모달 신호처리, 실시간 스트리밍 환경에서의 고신뢰 멀티미디어 분석, 사용자 맞춤형 감성 증강 서비스 등 차세대 융합 응용 분야로 연구를 확장할 계획입니다.
멀티모달 신호 기반 감정 및 스트레스 인식
김형국 연구실은 뇌파(EEG), 오디오, 비디오 등 다양한 멀티모달 신호를 융합하여 인간의 감정 및 스트레스 상태를 정밀하게 인식하는 기술을 연구하고 있습니다. 최근에는 EEG 신호와 오디오 신호, 그리고 시각적 정보(예: 얼굴 표정)를 결합한 감정 인식 프레임워크를 개발하여, 기존 단일 신호 기반 감정 인식의 한계를 극복하고자 하였습니다. 이러한 연구는 뇌파 신호의 시공간적 특징 추출, 오디오 신호의 음향적 특성 분석, 그리고 딥러닝 기반의 융합 모델 설계에 중점을 두고 있습니다.
특히, 연구실은 EEGNet, Temporal Convolutional Network(TCN), Conformer, Bidirectional Gated Recurrent Unit(BGRU) 등 최신 딥러닝 모델을 활용하여 다양한 신호의 시공간적 패턴을 효과적으로 추출하고, Contrastive Learning, Attention Mechanism 등 첨단 기법을 적용하여 멀티모달 신호 간의 상호작용과 상관관계를 학습합니다. 이를 통해 감정 분류, 스트레스 인식, 음악 감정 기반 추천 등 다양한 응용 분야에서 높은 정확도를 달성하고 있습니다.
이러한 멀티모달 감정 및 스트레스 인식 기술은 헬스케어, 웨어러블 디바이스, 감성 로봇, 맞춤형 콘텐츠 추천 등 다양한 산업 분야에 적용될 수 있습니다. 앞으로 연구실은 실시간 감정 인식, 사용자 맞춤형 인터페이스, 뇌파 기반 감성 증강 시스템 등 차세대 인공지능 감성 컴퓨팅 분야로 연구를 확장할 계획입니다.
오디오 신호처리 및 멀티미디어 콘텐츠 분석
본 연구실은 오디오 신호처리와 멀티미디어 콘텐츠 분석 분야에서 오랜 연구 경험과 다양한 성과를 축적해왔습니다. 오디오 신호의 잡음 제거, 음성 향상, 오디오 핑거프린팅, 음악/음성 분리, 오디오 기반 이벤트 검출 등 다양한 신호처리 기술을 개발하여, 실제 환경에서의 강인한 멀티미디어 서비스 구현을 목표로 하고 있습니다. MPEG-7 오디오 표준, Modulated Complex Lapped Transform(MCLT), Constant-Q 변환, 커널 백피팅 등 다양한 신호처리 알고리즘을 활용하여, 음악, 음성, 환경음 등 다양한 오디오 데이터를 효과적으로 분석합니다.
특히, 연구실은 오디오 신호의 특징 추출 및 분류, 음악 무드 및 장르 분류, 오디오 기반 영상 하이라이트 추출, 오디오-비주얼 통합 콘텐츠 분석 등 멀티미디어 데이터의 자동화된 인덱싱 및 검색 기술을 선도적으로 연구하고 있습니다. 또한, 실시간 환경에서의 오디오 신호처리, 모바일 및 IoT 환경에서의 저전력 신호처리, 청각장애인 및 난청인을 위한 사운드 이벤트 검출 및 햅틱 변환 시스템 등 사회적 가치가 높은 응용 연구도 활발히 수행 중입니다.
이러한 오디오 신호처리 및 멀티미디어 분석 기술은 스마트 홈, 차량 인포테인먼트, 방송 미디어, 보안, 헬스케어 등 다양한 분야에 적용되고 있습니다. 앞으로 연구실은 인공지능 기반 오디오 신호처리, 멀티모달 데이터 융합, 실시간 스트리밍 환경에서의 고신뢰 멀티미디어 분석 등 첨단 융합기술 개발에 더욱 집중할 예정입니다.
지능형 임베디드 시스템 및 IoT 기반 응용
김형국 연구실은 오디오 및 멀티모달 신호처리 기술을 실제 임베디드 시스템과 IoT 환경에 적용하는 연구를 활발히 진행하고 있습니다. 스마트폰, 웨어러블 디바이스, 임베디드 하드웨어 등 다양한 플랫폼에서 실시간으로 동작하는 감정 인식, 사운드 이벤트 검출, 행동 인식, 긴급상황 감지 시스템을 개발하여, 사용자 맞춤형 서비스와 안전한 생활 환경을 구현하고 있습니다.
예를 들어, 모바일 기기 내장 마이크, 가속도계, 자이로스코프 등 다양한 센서 데이터를 융합하여, 실내 긴급상황 자동 감지 및 알림 시스템, 인간 행동 기반 음악 추천 시스템, 청각장애인을 위한 사운드 이벤트 검출 및 햅틱 피드백 시스템 등을 개발하였습니다. 이러한 시스템은 저전력, 고효율, 실시간 동작을 목표로 하며, 실제 환경에서의 신뢰성과 사용성을 높이기 위해 다양한 실험 및 현장 적용을 거치고 있습니다.
향후 연구실은 블록체인, 사물인터넷, 엣지 컴퓨팅 등 최신 ICT 기술과 융합하여, 더욱 지능적이고 안전한 스마트 환경을 구축하는 데 기여할 계획입니다. 또한, 사용자 경험을 극대화하는 인터랙티브 인공지능 시스템, 맞춤형 감성 증강 서비스 등 차세대 융합 응용 분야로 연구를 확장할 예정입니다.
1
Partial Transfer Learning from Patch Transformer to Variate-Based Linear Forecasting Model
Anh Le Hoang, Vu Dang Thanh, Oh Seungmin, Yu Gwang-Hyun, Han Nguyen Bui Ngoc, Kim Hyoung-Gook, Kim Jin-Sul, Kim Jin-Young
ENERGIES, 2024
2
Emotion Recognition Using EEG Signals and Audiovisual Features with Contrastive Learning
Lee Ju-Hwan, Kim Jin-Young, Kim Hyoung-Gook
BIOENGINEERING-BASEL, 2024
3
HAFREE: A Heatmap-Based Anchor-Free Detector for Apple Defect Detection
Bui Ngoc Han Nguyen, Lee Ju-Hwan, Thanh Vu Dang, Murtza Iqbal, Kim Hyoung-Gook, Kim Jin-Young
IEEE ACCESS, 2024
1
시청각 자극에 따른 뇌파정보 기반 감성증강을 위한 휴먼 인터랙티브 인공 감성지능 시스템 개발(2/3)
2
시청각 자극에 따른 뇌파정보 기반 감성증강을 위한 휴먼 인터랙티브 인공 감성지능 시스템 개발(1차년도)
3
계층적 주의집중 인공신경망 기반 뇌파분석을 통한 감성증강(학생책임자 먼래니)
