인간 활동 인식은 의료와 스마트 차량과 같은 인간 중심 지능형 시스템을 위한 필수 과제로, 웨어러블 기기에 장착된 센서에서 수집한 시계열 신호를 분석함으로써 수행될 수 있다. 이러한 응용에서 고령자의 낙상이나 졸음운전과 같은 긴급 사건에 대해 신속한 조치가 필요하므로 실시간 응답은 매우 중요하다. 순환신경망은 시간적 모델링 능력 때문에 널리 사용되어 왔으나, 최근 연구들은 더 낮은 계산 비용을 수반하여 실시간 응답에 적합한 합성곱신경망(CNN)에 주목하고 있다. 다만 수동 설계로 구성된 CNN은 응용이나 장치에 따라 달라지는 계산 예산으로 인해 최적의 정확도를 달성하지 못할 수 있다. 본 논문에서는 특정 계산 예산에 적합한 CNN 아키텍처를 도출하기 위해 수학적 접근을 사용하는 새로운 설계 프레임워크를 제안한다. 그 결과, 이론적 계산 비용을 미리 정의함으로써 네트워크 아키텍처를 유연하게 수정할 수 있는 그룹드 시간적 시프트 네트워크(GTSNet)를 도입한다. 제한된 계산 예산 하에서 잘 알려진 공개 벤치마크 데이터셋들에 대해 실험을 통해 본 프레임워크의 유효성을 입증하였으며, 최상의 성능을 달성하였다. GTSNet의 소스 코드는 https://github.com/jgpark92/GTSNet 에서 공개되어 있다.