자기지도 학습을 통해 획득된 사전학습 표현은 학습 데이터가 적은 과제에서도 높은 정확도를 달성할 수 있다. 시각 및 자연어 처리 영역과 달리, IMU 기반 응용 분야에 대한 사전학습은 일반화 가능한 표현을 학습하기에 충분한 규모와 다양성을 갖춘 공개 데이터셋이 거의 없다는 점에서 어렵다. 이러한 문제를 해결하기 위해, 우리는 대규모 이미지로부터 사전학습된 표현을 다양한 IMU 센싱 과제로 적응시키는 IMG2IMU를 제안한다. 우리는 센서 데이터를 시각적으로 해석 가능한 스펙트로그램으로 변환하여, 모델이 시각 분야에서 얻은 지식을 활용할 수 있게 한다. 또한 IMU 센싱 응용을 위해 특히 유의미한 지식을 획득할 수 있도록 하는 이미지의 센서-인지 사전학습 방법을 제시한다. 이는 센서 데이터의 특성에 맞게 커스터마이즈한 증강 세트에 대해 대조학습을 수행하는 것을 포함한다. 네 가지 서로 다른 IMU 센싱 과제를 대상으로 한 평가는, IMG2IMU가 센서 데이터로 사전학습된 기준선보다 평균 9.6%p F1-score만큼 더 우수함을 보여주며, 제한된 학습 데이터만 사용할 수 있는 IMU 센싱 응용에서 시각 지식을 유용하게 통합할 수 있음을 입증한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.