RnDCircle Logo
박승보 연구실
인하대학교 소프트웨어융합공학과 박승보 교수
멀티미디어 스토리 분석
Semantic segmentation
Neural Symbolic Model
홈
연구 영역
기본 정보
논문·특허
과제
구성원
홈

박승보 연구실

인하대학교 소프트웨어융합공학과 박승보 교수

박승보 연구실은 소프트웨어융합공학과 기반으로 멀티미디어 영상과 음성에서 의미 있는 특징을 추출하고 분류/구조화하는 연구를 수행합니다. 영화·미디어 콘텐츠에서는 시맨틱 세그멘테이션 전처리와 CNN 기반 분류를 결합하여 샷 유형을 식별하고, 카메라 모션 정보를 스토리 분석과 연결합니다. 또한 스토리 구성요소를 탐지하고 뉴럴 심볼릭 모델과 장면관계 그래프로 메인 플롯과 서브 플롯을 추출하는 방향으로 확장합니다. 의료 영역에서는 음성 특징을 PCA 또는 Sparse Autoencoder 잠재표현으로 압축한 뒤 SVM으로 파킨슨병을 분류하는 모델링을 수행합니다. 아울러 MediaPipe 관절 좌표와 각도를 입력으로 하는 CNN 앙상블로 운동 자세를 실시간 분류합니다.

멀티미디어 스토리 분석Semantic segmentationNeural Symbolic ModelVocal feature extractionParkinson’s disease detection
대표 연구 분야
연구 영역 전체보기
멀티미디어 스토리 이해 및 내러티브 구조 추출 thumbnail
멀티미디어 스토리 이해 및 내러티브 구조 추출
Multimedia Story Understanding and Narrative Structure Extraction
연구 분야 상세보기
음성 기반 파킨슨병 조기 탐지 모델링 thumbnail
음성 기반 파킨슨병 조기 탐지 모델링
Vocal Feature–Based Parkinson’s Disease Detection Modeling
연구 분야 상세보기
자세 추정 기반 운동 분류 및 실시간 인식 thumbnail
자세 추정 기반 운동 분류 및 실시간 인식
Pose-Based Workout Classification and Real-Time Recognition
연구 분야 상세보기
연구 성과 추이
표시된 성과는 수집된 데이터 기준으로 산출되며, 일부 차이가 있을 수 있습니다.
주요 논문
5
논문 전체보기
1
Article
|
인용수 8
·
2024
Workout Classification Using a Convolutional Neural Network in Ensemble Learning
Gi-Seung Bang, Seung-Bo Park
IF 3.5 (2024)
Sensors
COVID-19 팬데믹으로 인해 홈 트레이닝에 대한 수요가 증가함에 따라, 본 연구는 앙상블 학습 시스템에서 컨볼루션 신경망(CNN)을 기반으로 한 실시간 운동자세 분류의 새로운 접근법을 제안한다. 제안하는 시스템은 MediaPipe를 활용하여 인체의 관절 좌표와 각도를 추출하며, CNN은 이를 이용해 다양한 운동에서 나타나는 복잡한 패턴을 학습한다. 또한 본 접근법은 앙상블 학습 방법을 통해 여러 이미지 프레임의 예측을 결합함으로써 분류 성능을 향상시킨다. 검증에는 Infinity AI의 Fitness Basic Dataset을 사용하였으며, 실험 결과 팔 올리기(arm raises), 스쿼트(squats), 오버헤드 프레스(overhead presses)와 같은 운동을 분류하는 데 높은 정확도를 보였다. 제안 모델은 정확도(92.12%), 정밀도(91.62%), 재현율(91.64%), F1 점수(91.58%)에서 높은 수준의 성능을 달성하며 실시간으로 운동자세를 효과적으로 분류할 수 있음을 입증하였다. 이는 개인 맞춤형 피트니스 추천 및 물리치료 서비스에의 적용 가능성을 시사하며, 해당 분야에서 유익하게 활용될 수 있음을 보여준다.
https://doi.org/10.3390/s24103133
Convolutional neural network
Overhead (engineering)
Computer science
Artificial intelligence
Machine learning
Ensemble learning
Deep learning
Recall
Artificial neural network
Pattern recognition (psychology)
2
Article
|
인용수 75
·
2021
Vocal Feature Extraction-Based Artificial Intelligent Model for Parkinson’s Disease Detection
Muntasir Hoq, Mohammed Nazim Uddin, Seung-Bo Park
IF 3.992 (2021)
Diagnostics
신경퇴행성 질환인 파킨슨병(Parkinson's disease, PD)은 사람 뇌의 신경세포에 영향을 미친다. 조기 발견과 치료는 PD의 증상을 완화하는 데 도움이 될 수 있다. 최근 PD 연구에서는 환자들이 PD의 초기 단계에서 보컬 변화와 기능 저하를 겪는다는 점에 착안하여, 음성 장애로부터 추출한 특징을 PD 검출의 전조로 활용하였다. 본 연구에서는 음성 특징에 기반하여 PD 환자를 검출하기 위해, 주성분 분석(Principal Component Analysis, PCA)과 희소 자동인코더(Sparse Autoencoder, SAE)를 결합한 지지벡터머신(Support Vector Machine, SVM) 기반 2가지 하이브리드 모델을 제안한다. 첫 번째 모델은 PCA를 사용하여 각 특징의 설명 분산(explained variance)에 근거해 음성 특징의 주성분을 추출하고 차원을 감소시켰다. 처음으로 두 번째 모델은 SAE의 새로운 딥 신경망(Deep Neural Network, DNN)을 사용하였으며, 이는 L1 정규화를 적용한 다수의 은닉층으로 구성되어 음성 특징을 더 낮은 차원의 잠재 공간으로 압축한다. 두 모델 모두에서 감소된 특징을 입력으로 SVM에 제공하였고, SVM은 데이터를 더 높은 차원으로 투영하는 것과 함께 초평면(hyperplanes)을 학습하여 분류를 수행하였다. 제안된 모델을 평가하기 위해, 심하게 불균형한 데이터로 인해 F1-score, 매튜 상관계수(Mathews Correlation Coefficient, MCC), 정밀도-재현율(Precision-Recall) 곡선을 사용하였으며 정확도 또한 함께 사용하였다. 정확도 0.935, F1-score 0.951, MCC 값 0.788로서 최고 성능을 보인 결과는, 제안된 SAE-SVM 모델이 PCA-SVM의 기존 모델뿐 아니라 다층 퍼셉트론(Multilayer Perceptron, MLP), 극한 기울기 부스팅(Extreme Gradient Boosting, XGBoost), k-최근접 이웃(k-Nearest Neighbor, KNN), 랜덤 포레스트(Random Forest, RF) 등 다른 표준 모델을 능가함을 보여주었을 뿐 아니라, 동일 데이터셋을 사용한 두 편의 최근 연구 또한 능가하였다. SMOTE를 이용한 과표본화(oversampling)와 데이터셋의 균형화는 모델의 성능을 향상시켰다.
https://doi.org/10.3390/diagnostics11061076
Artificial intelligence
Pattern recognition (psychology)
Support vector machine
Principal component analysis
Computer science
Multilayer perceptron
Feature extraction
Artificial neural network
Speech recognition
3
Article
|
·
인용수 3
·
2021
Camera motion detection for story and multimedia information convergence
Hui-Yong Bak, Seung-Bo Park
Personal and Ubiquitous Computing
https://doi.org/10.1007/s00779-021-01585-6
Computer vision
Computer science
Artificial intelligence
Camera auto-calibration
Zoom
Motion estimation
Optical flow
Smart camera
Video camera
Frame (networking)
최신 정부 과제
10
과제 전체보기
1
2023년 6월-2026년 2월
|173,141,000원
뉴럴 심볼릭 모델 기반의 스토리로부터 메인 플롯과 서브 플롯의 추출 방법 연구
본 연구는 스토리로부터 등장인물, 장면 정보를 추출하고 등장인물과 장면들 간의 관계를 표현할 수 있는 컴퓨팅 모형 방법을 도출하고, 뉴럴 심볼릭 모델(Neural Symbolic Model) 기반으로 컴퓨팅 모형으로부터 스토리 속의 메인 플롯과 서브 플롯을 각각 추출하는 방법론에 대한 연구를 진행한다.
스토리
메인 플롯
서브 플롯
뉴럴 심볼릭 모델
장면관계 그래프
2
주관|
2020년 7월-2020년 12월
|8,000,000원
AI 에지컴퓨팅 기반의 차량 밖 운전자 주시 물체 검출 기술
지능형 자동차는 운전 중 스마트폰 사용과 운전자의 운전 집중도 저하와 졸음운전 및 음주운전 등을 감지하기 위하여 운전자의 상태를 자동으로 모니터링 하는 기술이 필요하다. 이를 위해 운전자의 시선을 이용하여 운전자의 시선이 머무는 영역을 식별하는 연구가 진행되어왔다. 운전자의 시선이 머무는 영역 식별은 운전자의 운전 집중도와 운전 중 스마트폰 사용 유무와 음주음전과 졸음운전 등을 알아내는데 이용되므로 운전자의 상태를 파악하는데 중요한 정보이다. 현재 운전자의 시선이 머무는 영역을 식별하는 연구는 그림 1과 같이 운전자가 시선이 향하는 영역 중 차량 실내의 Forward, Right, Left, Center Stack, Rearview, Mirror, Speedometer, eye close를 식별한다. 이 연구는 운전자와 지능형 자동차 간의 소통에 초점이 맞추어져 있어서 운전자가 바라보는 차량 실내의 영역은 식별이 가능하지만, 차량 외부의 영역은 식별이 불가능하다는 단점이 있다. 하지만, 지능형 자동차의 정교한 추론기능을 위해서는 차량 실내 뿐만 아니라 운전자가 바라보는 외부에 대한 사물인식에 대한 연구가 이루어질 필요가 있다. 또한, 네트워크가 끊기거나, 네트워크 비용으로 인해 이러한 영상 인식 기술은 클라우드 기반으로 정보처리를 하기 보다는 자동차 내의 장치들만으로 지원가능해야 한다. 영상 처리를 서버 단에서 처리하게 되면 동영상이 송수신 되어야 하므로 높은 네트워크 비용이 발생할 수 있다. 이러한 문제들을 해결하기 위해, 본 연구는 도로 위의 영상에서 운전자의 시선이 향해 있는 물체를 식별하는 연구를 진행하며, 이를 차량 내의 리소스(resource)를 활용하여 처리할 수 있는 장치들에 대해 연구한다. 정리하면 본 연구가 진행할 연구 내용은 다음과 같다. ■ 차량 실내 영상에서 운전자의 시선 정보를 추출하는 방법 개발 ■ 도로 위의 영상에서 물체 식별 방법 개발 ■ 운전자의 시선 정보와 도로 위의 영상에서의 기하학적 관계를 탐색하는 방법 개발 ■ 지능형 자동차의 리소스로 영상 처리를 할 수 있도록 하는 장치들에 대한 검토
AI 에지 컴퓨팅
사물인식
시멘틱 세그멘테이션
운전자
블랙박스
3
주관|
2020년 6월-2023년 2월
|137,500,000원
스토리 속 갈등의 컴퓨팅적 모형과 자동생성 방법론 연구
흥미 있는 스토리는 갈등이 잘 설계되어 표현되고 해소되어야 한다. 즉, 인공작가 시스템이 개발되고 상업적으로 활용되기 위해서는 갈등에 대한 컴퓨팅적 모형과 갈등의 자동생성 방법이 개발되어 있어야 한다. 이를 위해 갈등과 관련된 요소들과 요소들 간의 관계를 정의한다. 이후에 요소들을 활용하여 갈등이 자동생성되는 방법을 개발한다. 로버트 맥키에 의하면 갈등은 주인공의 행동에 대한 결과가 자신의 욕망으로부터 간극이 발생하면서 시작되며, 이 간극을 복원하고자 하는 주인공의 행동들을 통해서 표현된다[1]. 간극은 주인공을 방해하는 적대적인 힘들인 내적 갈등, 개인적 적대자, 또는 초개인적 적대자로 표현될 수 있다. 갈등을 컴퓨팅적으로 모형화하고, 이 모형에 기반한 자동생성 방법론을 위해서 진행하는 연구 내용은 다음과 같다. ■ 주인공과 주인공의 목표(욕망)을 컴퓨터가 활용할 수 있게 기술하는 방법 개발 ■ 행동-결과 패턴에 의한 간극 데이터 기술 방법 개발 ■ 욕망까지 간극 데이터들을 조합하고 탐색하는 방법 개발
갈등
스토리
컴퓨팅적 모형
스토리 자동생성
인공작가시스템
최신 특허
특허 전체보기
상태출원연도과제명출원번호상세정보
거절2020인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템 및 방법1020200188162
등록2019게임의 에너지 충전 장치 및 방법1020190114350
소멸2018성격 정보를 이용한 대화 생성기1020180167137
전체 특허

인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템 및 방법

상태
거절
출원연도
2020
출원번호
1020200188162

게임의 에너지 충전 장치 및 방법

상태
등록
출원연도
2019
출원번호
1020190114350

성격 정보를 이용한 대화 생성기

상태
소멸
출원연도
2018
출원번호
1020180167137