인터넷에서 비다듬어진(uncut) 비디오의 규모가 지속적으로 증가함에 따라, 긴 비디오 내에서 시퀀스를 정확하고 의미론적으로 국소화할 수 있는 고급 동작 분할(action segmentation) 방법에 대한 수요가 높아지고 있다. 전통적인 접근법은 연속 프레임의 예측을 평활화(smoothing)함으로써 만연한 과분할(over-segmentation) 문제를 완화하려고 시도해 왔다. 그러나 이러한 기법은 중요한 시공간(spatio-temporal) 특성을 간과할 가능성이 있다. 또 다른 흔한 전략으로는 추가적인 시간 정보(temporal data)를 통합하는 방법이 있으나, 이는 실제 환경에서 확보하기가 어려울 수 있다. 이러한 문제를 보다 효과적으로 해결하기 위하여, 우리는 프레임 단위 임베딩(frame-wise embeddings)으로부터 기하학적 곡선(geometric curve)을 구성하고 그 곡률(curvature) 특징을 추출하는 새로운 접근법을 제안한다. 이 절차를 통해 우리는 임베딩 벡터의 곡률 정보를 활용하면서, 시공간 정보를 기존 동작 분할 모델에 매끄럽게 통합할 수 있다. 본 연구 결과는, 제안한 곡률 기반 접근법이 임베딩 표현을 풍부하게 하여 동작 분할에 더 적합하게 만든다는 것을 보여준다. 이는 서로 다른 비디오에 존재하는 유사한 동작의 표현을 가깝게 모으는 한편, 동일 비디오 내에서 서로 다른 동작 프레임의 표현은 적절히 멀리 떨어지게 한다. 따라서 본 연구의 실험 결과는, 곡률 정보를 다양한 기존 동작 분할 모델에 포함시키는 것이 동작 분할 성능을 유의미하게 향상시킬 수 있음을 뒷받침하는 충분한 근거를 제공한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.