부분 인식 트랜스포머와 엣지 최적화 기반 재식별·시선추정 연구

Part-Aware Transformer for Re-Identification and Edge-Optimized Gaze Estimation

연구 내용

Part Aware Transformer로 부위-부위 비교를 강화해 person re-identification을 정밀화하고, 듀얼 유사도 기반 few-shot 학습과 NVIDIA Jetson DLA 기반 gaze estimation을 엣지에서 수행하는 연구

person re-identification에서는 신체 부위 간 비교가 핵심이라는 전제에 따라, pose token을 통해 각 body part와 partial regions의 상관을 학습하는 Part Aware Transformer를 설계합니다. 추론 단계에서 별도의 body part localization 모듈 없이도 부위 인식을 유지하도록 구성하며, 가시성 예측을 통해 occlusion 정도를 반영하는 학습 구성을 포함합니다. 또한 cross-attention 기반 dual-similarity 네트워크로 few-shot 환경에서 유사도 기반 매칭 성능을 보강합니다. 엣지 측면에서는 NVIDIA Jetson 플랫폼에서 GPU와 DLA 간 연산을 분배하고, DLA 실행을 위한 calibration module로 gaze estimation의 실시간 효율과 견고성을 확보하는 연구를 수행합니다.

관련 프로젝트

2건

연구 흐름

초기에는 부위-정합 관점의 사람 재식별을 위한 transformer 기반 학습 아이디어를 정리하고, pose token과 가시성 예측을 결합한 학습 절차를 제안했습니다. 이후에는 person re-identification에서 부위 인식이 임계 상황에서 어떻게 동작하는지 검증하면서, 유사도 학습을 강화한 few-shot 설정의 모델 구조로 확장했습니다. 최근에는 vision 모델을 실제 엣지 장치에 배치하기 위해 Jetson에서 DLA 실행을 고려한 calibration 모듈과 연산 분배 전략을 설계하고, 실시간 처리 관점으로 성능을 확인하는 흐름으로 발전했습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

부분 가림 상황 재식별
운전자 시선 기반 모니터링
자율주행 HMI 사용자 의도 추정
엣지 장치용 실시간 gaze estimation
few-shot 대상자 매칭
스마트 감시 시스템 재식별
인체 부위 정합 기반 행동 분석
로봇 보조 서비스 대상 추적
저전력 비전 추론 파이프라인
교통 안전 이벤트 사용자 인지