COVID-19 팬데믹으로 인해 홈 트레이닝에 대한 수요가 증가함에 따라, 본 연구는 앙상블 학습 시스템에서 컨볼루션 신경망(CNN)을 기반으로 한 실시간 운동자세 분류의 새로운 접근법을 제안한다. 제안하는 시스템은 MediaPipe를 활용하여 인체의 관절 좌표와 각도를 추출하며, CNN은 이를 이용해 다양한 운동에서 나타나는 복잡한 패턴을 학습한다. 또한 본 접근법은 앙상블 학습 방법을 통해 여러 이미지 프레임의 예측을 결합함으로써 분류 성능을 향상시킨다. 검증에는 Infinity AI의 Fitness Basic Dataset을 사용하였으며, 실험 결과 팔 올리기(arm raises), 스쿼트(squats), 오버헤드 프레스(overhead presses)와 같은 운동을 분류하는 데 높은 정확도를 보였다. 제안 모델은 정확도(92.12%), 정밀도(91.62%), 재현율(91.64%), F1 점수(91.58%)에서 높은 수준의 성능을 달성하며 실시간으로 운동자세를 효과적으로 분류할 수 있음을 입증하였다. 이는 개인 맞춤형 피트니스 추천 및 물리치료 서비스에의 적용 가능성을 시사하며, 해당 분야에서 유익하게 활용될 수 있음을 보여준다.

신경퇴행성 질환인 파킨슨병(Parkinson's disease, PD)은 사람 뇌의 신경세포에 영향을 미친다. 조기 발견과 치료는 PD의 증상을 완화하는 데 도움이 될 수 있다. 최근 PD 연구에서는 환자들이 PD의 초기 단계에서 보컬 변화와 기능 저하를 겪는다는 점에 착안하여, 음성 장애로부터 추출한 특징을 PD 검출의 전조로 활용하였다. 본 연구에서는 음성 특징에 기반하여 PD 환자를 검출하기 위해, 주성분 분석(Principal Component Analysis, PCA)과 희소 자동인코더(Sparse Autoencoder, SAE)를 결합한 지지벡터머신(Support Vector Machine, SVM) 기반 2가지 하이브리드 모델을 제안한다. 첫 번째 모델은 PCA를 사용하여 각 특징의 설명 분산(explained variance)에 근거해 음성 특징의 주성분을 추출하고 차원을 감소시켰다. 처음으로 두 번째 모델은 SAE의 새로운 딥 신경망(Deep Neural Network, DNN)을 사용하였으며, 이는 L1 정규화를 적용한 다수의 은닉층으로 구성되어 음성 특징을 더 낮은 차원의 잠재 공간으로 압축한다. 두 모델 모두에서 감소된 특징을 입력으로 SVM에 제공하였고, SVM은 데이터를 더 높은 차원으로 투영하는 것과 함께 초평면(hyperplanes)을 학습하여 분류를 수행하였다. 제안된 모델을 평가하기 위해, 심하게 불균형한 데이터로 인해 F1-score, 매튜 상관계수(Mathews Correlation Coefficient, MCC), 정밀도-재현율(Precision-Recall) 곡선을 사용하였으며 정확도 또한 함께 사용하였다. 정확도 0.935, F1-score 0.951, MCC 값 0.788로서 최고 성능을 보인 결과는, 제안된 SAE-SVM 모델이 PCA-SVM의 기존 모델뿐 아니라 다층 퍼셉트론(Multilayer Perceptron, MLP), 극한 기울기 부스팅(Extreme Gradient Boosting, XGBoost), k-최근접 이웃(k-Nearest Neighbor, KNN), 랜덤 포레스트(Random Forest, RF) 등 다른 표준 모델을 능가함을 보여주었을 뿐 아니라, 동일 데이터셋을 사용한 두 편의 최근 연구 또한 능가하였다. SMOTE를 이용한 과표본화(oversampling)와 데이터셋의 균형화는 모델의 성능을 향상시켰다.

COVID-19 팬데믹으로 인해 홈 트레이닝에 대한 수요가 증가함에 따라, 본 연구는 앙상블 학습 시스템에서 컨볼루션 신경망(CNN)을 기반으로 한 실시간 운동자세 분류의 새로운 접근법을 제안한다. 제안하는 시스템은 MediaPipe를 활용하여 인체의 관절 좌표와 각도를 추출하며, CNN은 이를 이용해 다양한 운동에서 나타나는 복잡한 패턴을 학습한다. 또한 본 접근법은 앙상블 학습 방법을 통해 여러 이미지 프레임의 예측을 결합함으로써 분류 성능을 향상시킨다. 검증에는 Infinity AI의 Fitness Basic Dataset을 사용하였으며, 실험 결과 팔 올리기(arm raises), 스쿼트(squats), 오버헤드 프레스(overhead presses)와 같은 운동을 분류하는 데 높은 정확도를 보였다. 제안 모델은 정확도(92.12%), 정밀도(91.62%), 재현율(91.64%), F1 점수(91.58%)에서 높은 수준의 성능을 달성하며 실시간으로 운동자세를 효과적으로 분류할 수 있음을 입증하였다. 이는 개인 맞춤형 피트니스 추천 및 물리치료 서비스에의 적용 가능성을 시사하며, 해당 분야에서 유익하게 활용될 수 있음을 보여준다.

신경퇴행성 질환인 파킨슨병(Parkinson's disease, PD)은 사람 뇌의 신경세포에 영향을 미친다. 조기 발견과 치료는 PD의 증상을 완화하는 데 도움이 될 수 있다. 최근 PD 연구에서는 환자들이 PD의 초기 단계에서 보컬 변화와 기능 저하를 겪는다는 점에 착안하여, 음성 장애로부터 추출한 특징을 PD 검출의 전조로 활용하였다. 본 연구에서는 음성 특징에 기반하여 PD 환자를 검출하기 위해, 주성분 분석(Principal Component Analysis, PCA)과 희소 자동인코더(Sparse Autoencoder, SAE)를 결합한 지지벡터머신(Support Vector Machine, SVM) 기반 2가지 하이브리드 모델을 제안한다. 첫 번째 모델은 PCA를 사용하여 각 특징의 설명 분산(explained variance)에 근거해 음성 특징의 주성분을 추출하고 차원을 감소시켰다. 처음으로 두 번째 모델은 SAE의 새로운 딥 신경망(Deep Neural Network, DNN)을 사용하였으며, 이는 L1 정규화를 적용한 다수의 은닉층으로 구성되어 음성 특징을 더 낮은 차원의 잠재 공간으로 압축한다. 두 모델 모두에서 감소된 특징을 입력으로 SVM에 제공하였고, SVM은 데이터를 더 높은 차원으로 투영하는 것과 함께 초평면(hyperplanes)을 학습하여 분류를 수행하였다. 제안된 모델을 평가하기 위해, 심하게 불균형한 데이터로 인해 F1-score, 매튜 상관계수(Mathews Correlation Coefficient, MCC), 정밀도-재현율(Precision-Recall) 곡선을 사용하였으며 정확도 또한 함께 사용하였다. 정확도 0.935, F1-score 0.951, MCC 값 0.788로서 최고 성능을 보인 결과는, 제안된 SAE-SVM 모델이 PCA-SVM의 기존 모델뿐 아니라 다층 퍼셉트론(Multilayer Perceptron, MLP), 극한 기울기 부스팅(Extreme Gradient Boosting, XGBoost), k-최근접 이웃(k-Nearest Neighbor, KNN), 랜덤 포레스트(Random Forest, RF) 등 다른 표준 모델을 능가함을 보여주었을 뿐 아니라, 동일 데이터셋을 사용한 두 편의 최근 연구 또한 능가하였다. SMOTE를 이용한 과표본화(oversampling)와 데이터셋의 균형화는 모델의 성능을 향상시켰다.

샷 유형 결정은 선택된 샷 유형으로부터 감정, 등장인물의 심리, 공간 정보와 같은 방대한 정보가 제공되기 때문에 영화 분석에서 매우 중요한 사전 과제이다. 다양한 영화를 분석하기 위해서는 샷 유형을 자동으로 분류하는 기법이 필요하다. 선행 샷 유형 분류 연구들은 얼굴 화면 내 비율을 기반으로 샷 유형을 분류하거나, 합성곱 신경망(CNN)을 이용하여 분류하였다. 얼굴 화면 내 비율에 기반한 연구들은 화면에 인물이 나타나지 않는 경우 그 샷을 분류하지 못하였다. 반면 CNN은 화면에 인물이 없더라도 샷 유형을 분류하지만, 일부 샷은 이미지의 의미론적 분석이 아니라 이미지의 특징과 패턴만으로 분류하기 때문에 분류가 불가능한 경우가 있다. 따라서 이미지에 의미론적으로 접근하기 위한 추가 정보가 필요하며, 이는 의미론적 분할(semantic segmentation)을 통해 수행할 수 있다. 이에 따라 본 연구에서는 영화에서 추출한 프레임의 의미론적 분할 전처리를 통해 샷 유형 분류 성능을 향상시켰다. 의미론적 분할은 이미지를 의미론적으로 해석하고, 객체 간 경계 관계를 구분한다. 의미론적 분할의 대표적 기술로는 Mask R-CNN과 Yolact가 있다. 본 연구에서는 이들을 샷 유형 분류의 전처리로 사용했을 때의 성능을 비교·평가하기 위한 연구를 수행하였다. 그 결과, 의미론적 분할 전처리를 적용한 프레임을 사용한 샷 유형 분류의 평균 정확도는 그러한 전처리를 적용하지 않은 프레임을 사용한 경우에 비해 1.9% 증가하여 93%에서 94.9%로 향상되었다. 특히 ResNet-50과 Yolact를 사용한 경우, 샷 유형 분류의 성능이 3% 향상되어 정확도는 93%에서 96%로 증가하였다.

관객의 감정 반응은 개별 관객들의 반응을 관측하여 판단할 수 있다. 영상 카메라를 이용한 시각적 데이터를 분석하여 활용하는 방법을 이용할 경우, 관객의 반응을 적은 비용으로 데이터를 추출하여 판단할 수 있는 것이 가능하다. 하지만, 영상 카메라를 이용할 경우 다수의 관객으로부터 발생하는 대규모의 영상 신호로부터 관객의 특징값들을 분석하여 반응을 판단하기 위한 방법과 시스템이 필요하다. 이를 위해 본 논문에서는 관객의 영상 데이터를 신경회로망 기법을 이용하여 관객의 반응을 관측하여 판단하는 방법과 시스템을 제안하고, 기존의 관객석을 고정적인 영역으로 분할하여 데이터를 취합하여 분석하기 때문에 발생하는 문제를 개선하기 위해 얼굴 검출을 통해 자동적으로 관객 영역을 분할하는 방법을 제안한다. 또한 실험을 통해 기존의 고정적으로 관객 영역을 지정하는 방법에 비해 10.5 %(7.75의 Hit Ratio)의 성능향상이 있음을 확인하였다. 이를 통해 제안하는 방법이 실제 관객 반응을 판단하는데 더 적합하다는 것을 알 수 있다. 콘텐츠에 대한 관객의 감정 반응은 관객의 반응을 관측함으로써 결정될 수 있다. 영상 카메라로부터 시각 데이터를 분석하여 관객의 반응을 신속하고 경제적으로 감지하는 방법을 사용할 수 있다. 본 논문은 관객의 시각 데이터로부터 신경망을 통해 관객의 반응을 관측하고 정의하는 방법과 시스템을 제안한다. 또한 관객에 따라 적응하지 못한다는 한계를 지니는 고정 영역 지정 방법을 개선하기 위해 얼굴 검출을 통해 관객 반응 영역을 자동으로 검출하는 새로운 방법을 제안한다. 더불어 제안한 방법과 시스템의 유효성을 입증하기 위해 평가를 수행하였다. 제안된 방법은 고정 영역 지정 방법과 비교하여 10.5 % (7.75 hit ration)의 성능 향상을 보였다.