기존의 Sparsely Annotated Object Detection(SAOD) 접근법들은 멀티스펙트럴 도메인에서, 일부 보행자만 주석이 달린 희소 주석 환경을 처리하는 데 있어 진전을 이루었음에도 불구하고 다음과 같은 한계를 여전히 지닌다. (i) 누락된 주석에 대한 의사 라벨(pseudo-label)의 품질을 개선하기 위한 고려가 부족하고, (ii) 고정된 정답(ground truth) 주석에 의존함으로써 멀티스펙트럴 도메인에서 보행자의 시각적 외양에 대한 제한된 범위만 학습하게 된다. 이러한 문제를 해결하기 위해 Sparsely Annotated Multispectral Pedestrian Detection(SAMPD)라는 새로운 프레임워크를 제안한다. 한계 (i)에 대해, Multispectral Pedestrian-aware Adaptive Weight(MPAW)와 Positive Pseudo-label Enhancement(PPE) 모듈을 도입한다. 멀티스펙트럴 지식을 활용하여, 이 모듈들은 고품질 의사 라벨의 생성을 보장하고, 모달리티(modality) 특성에 기반하여 고품질 의사 라벨에 대한 가중치를 증가시킴으로써 효과적인 학습을 가능하게 한다. 한계 (ii)에 대해, Adaptive Pedestrian Retrieval Augmentation(APRA) 모듈을 제안하며, 이는 정답 주석으로부터 보행자 패치를 적응적으로 포함하고, 고품질 의사 라벨을 정답과 동적으로 통합함으로써 보행자의 보다 다양한 학습 풀을 형성하도록 한다. 광범위한 실험 결과는 우리의 SAMPD가 멀티스펙트럴 도메인 내 희소 주석 환경에서 성능을 유의미하게 향상시킨다는 점을 보여준다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.