멀티모달 인식 및 결함 분류를 위한 강건 딥러닝 학습

Robust Deep Learning for Multimodal Recognition and Defect Classification

연구 내용

노이즈와 라벨 부족 환경에서 멀티모달 신호를 통합하고 시간·공간 정보를 모델링하여 재활 행동 인식과 웨이퍼 결함 분류 성능을 향상하는 연구

본 연구는 컴퓨터 비전과 딥러닝을 결합해 시각 데이터로부터 의미 있는 시간 정보를 추출하는 데 초점을 둡니다. 상지 재활에서는 BlazePose 기반 포즈 추정으로 skeleton을 얻고 각도 기반 특징을 추가하여, 그래프 모델과 순환 모델에 attention 메커니즘을 결합해 중요한 시간 구간을 식별합니다. 라벨이 제한되거나 데이터에 잡음이 존재하는 상황에서는 그래프 기반 semi-supervised learning에 동적 shaving label propagation을 도입해 강건성을 확보합니다. 반도체 웨이퍼 결함 분류에서는 Residual network와 Bidirectional Long Short-Term Memory에 additive attention을 결합하여 시퀀스 특징을 정교하게 반영하며, 스펙트럴 데이터에서는 특징선택을 신경망과 함께 수행하는 접근을 병행합니다.

관련 프로젝트

0건

연구 흐름

먼저 2023년에는 잡음에 강건한 그래프 기반 semi-supervised learning을 정리하고, 동적 shaving label propagation으로 라벨 전파의 안정성을 높이는 방향으로 연구를 수행하였습니다. 이후 2024년에는 재활 운동 인식을 위해 skeleton과 각도 시계열을 멀티모달로 통합하고, 포즈 추정과 그래프·순환 모델에 attention을 적용하여 중요한 시간 정보를 강조하는 프레임을 제시하였습니다. 2025년에는 웨이퍼 결함 분류로 확장하여 Residual network와 Bidirectional Long Short-Term Memory의 결합 모델을 적용하고, 스펙트럴 데이터에서는 신경망 기반 순차 특징선택을 통해 입력 효율을 개선하는 연구를 진행하였습니다. 흐름은 강건 학습에서 멀티모달 인식, 산업 비전 분류로 확장됩니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

재활운동 자세 평가
뇌성마비 대상 행동 인식
멀티모달 센서 융합 분류
시간 구간 기반 성능 향상
라벨 부족 환경 학습
노이즈 강건 그래프 모델
반도체 웨이퍼 결함 자동 분류
검사 데이터 전처리 최적화
스펙트럴 데이터 특징선택
주의 기반 시계열 해석 도구