감시 환경에서 이상 징후를 탐지하기 위해서는 환경의 맥락적 동학, 장면 내 인간의 행동 및 움직임에 대한 이해가 필요하다. 효과적인 이상 탐지는 사건의 ‘어디’와 ‘무엇’을 모두 다루어야 하지만, 단일 양식의 행동 기반 방법이나 LLM이 통합된 멀티모달 프레임워크와 같은 기존 접근법에는 한계가 있다. 이러한 방법들은 암묵적인 장면 정보를 전제로 하여 이상이 발생하는 ‘어디’를 국소화하기가 어렵거나, 시점 변화, 미세한 행동, 저조도 조건, 군집 장면 등 감시 특유의 과제에 적응하지 못한다. 그 결과, 이러한 과제는 실제로 ‘무엇’이 발생하는지에 대한 정확한 탐지를 저해한다. 이를 극복하기 위해, 본 시스템은 경량 장면 분류 모델로부터 특징을 활용하여 사건이 발생하는 ‘어디’를 구분함으로써, 위치 기반의 명시적 맥락을 획득한다. ‘무엇’에 해당하는 사건을 식별하기 위해서는, 이 분야에서 상대적으로 덜 탐구된 원자적 행동(atomic actions)에 초점을 맞추며, 이는 기존의 추상적 행동 특징보다 복잡한 비정상 행동을 해석하는 데 더 적합하다. 견고한 이상 탐지를 달성하기 위해, 제안하는 Temporal-Semantic Relationship Network (TSRN)은 멀티모달 특징 간의 시공간 관계를 모델링하고, 클래스 불균형을 효과적으로 다루기 위해 Segment-selective Focal Margin loss (SFML)를 사용하여 기존의 MIL 기반 방법을 능가한다. 공개 데이터셋에 대한 실험 결과는 제안된 시스템이 오경보를 효과적으로 감소시키면서도 현실 세계 감시 응용에 대해 견고성과 실용성을 유지함을 보여준다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.