Robust Keypoint-Based Sign Translation and Vision Reconstruction/Feature Extraction
연구 내용
수어 영상에서 gloss 없이 skeleton 키포인트로 번역 단서를 만들고, sparse-view 의료영상 재구성과 specular 영역 특징추출을 수행하며, 동시에 다중객체추적의 취약성을 악성 특징 주입으로 규명하는 연구
본 연구는 비싼 정답 주석 없이도 영상에서 유효 정보를 추출해 작업 성능을 확보하는 강건화 전략을 공유합니다. 수어 번역에서는 signer skeleton points로 동작을 식별하고, 체형 변화에 대응하는 keypoint normalization과 정보 손실을 줄이기 위한 stochastic frame selection을 결합합니다. 의료영상에서는 sparse-view CBCT의 ill-posed inverse problem에서 발생하는 artifact를 억제하면서 구조를 보존하도록 prior-based 강화 ASD-POCS 계열을 적용합니다. 또한 specular region을 탐지하고 covariant feature를 추출해 영상 매칭을 견고하게 만듭니다. 마지막으로 feature bank 조작을 통한 MOT 공격을 통해 취약성을 체계적으로 평가합니다.
관련 연구 성과
관련 논문
4편
관련 특허
0건
관련 프로젝트
0건
연구 흐름
2023년에는 gloss 없이 수어 번역을 목표로 keypoint 기반 전처리와 정규화, 프레임 선택 전략을 제안하는 방향으로 연구가 시작되었습니다. 이후 2024년에는 영상 재구성 문제로 확장하여 sparse-view CBCT에서 artifact 억제와 구조 보존을 위한 prior 기반 방법을 개발하고, specular region detection 및 covariant feature extraction으로 특징 추출의 강건성을 강화했습니다. 2025년에는 다중객체추적의 보안 관점으로 연구 축을 확장하여 feature bank를 조작하는 공격을 제안하고, association 단계에서의 취약성 및 강건성 한계를 분석하는 흐름으로 이어졌습니다.
활용 가능성
활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.
관련 논문
구분
제목
Preprocessing for Keypoint-Based Sign Language Translation without Glosses
Prior-Based Enhanced ASD-POCS for Artifact Suppression and Structural Preservation in Sparse-View CBCT
Specular Region Detection and Covariant Feature Extraction
BankTweak: Adversarial Attack Against Multi-Object Trackers by Manipulating Feature Banks