이 글은 사물인터넷(IoT) 장치에서 네트워크 처리와 관련된 컴퓨팅 및 통신 오버헤드를 탐구하며, 엣지 컴퓨팅의 주요 구성 요소인 컨테이너에 초점을 둔다. 우리의 실험 결과, IoT 장치의 컨테이너는 네이티브 프로세스에 비해 SoftIRQ 처리를 위한 CPU 사용률이 $\sim 2.6\times$ 더 높고, 네트워크 처리량은 약 59% 감소하며, 평균적으로 패킷당 지연이 $2\times$ 더 큰 것으로 나타났다. 기존의 여러 연구는 네트워킹 성능을 향상시키지만, 특별한 하드웨어 요구 또는 네트워크 의미론이나 API의 수정과 같은 방식으로 상호운용성을 희생하는 경우가 흔하다. 따라서 우리는 IoT 장치에 필수적인 상호운용성을 유지하는 커널 네트워킹 가속기인 SCON을 설계하고 구현한다. SCON은 시스템 수준의 프로파일링을 통해 컨테이너 네트워킹에서의 주요 병목을 해결한다. 우리는 세 가지 유형의 Io트 장치에서 SCON을 평가한다. Raspberry Pi 4에서는 SCON이 주요 IoT 응용 프로토콜(예: HTTP 및 MQTT)의 지연을 $\sim 10\times$ 까지 감소시켜, 네이티브 프로세스와 유사한 수준의 지연을 달성한다. 추가 분석에서는 SCON이 SoftIRQ 처리를 위한 CPU 사용률을 약 26% 감소시키는 것으로 확인되었다. 또한 나머지 두 가지 IoT 장치에서도 유사한 개선을 보고한다. 결론적으로 SCON은 상호운용성을 유지하면서도 IoT 장치에서 컨테이너 네트워킹의 컴퓨팅 및 통신 오버헤드를 유의미하게 감소시키는 점에서 독특하다. 더 나아가 유선 또는 무선 여부, 그리고 트래픽이 과중하거나 산발적인 경우와 무관하게 서로 다른 유형의 장치 전반에서 일관되게 작동한다.

블록체인은 클라우드 서비스 제공자들에 의해 블록체인-아즈-어-서비스(blockchain-as-a-service, BaaS)로 점차 제공되고 있다. 그러나 최적의 성능과 신뢰성을 위해 BaaS를 적절하게 구성하는 일은 시행착오에 의존하는 경우가 많다. 핵심 과제는 BaaS가 흔히 “블랙박스(black-box)”로 인식되어 성능과 자원 할당에 대한 불확실성이 발생한다는 점이다. 선행 연구들은 이러한 과제를 다루고자 시도해 왔으나, 수직 및 수평 스케일링의 영향은 여전히 명확히 파악되지 못한 상태다. 이에 본 연구에서는 스케일링 구성에 기반하여 네트워크 신뢰성과 처리량(throughput)을 예측하기 위한 머신러닝 기반 모델을 제시한다. 평가 결과, 해당 모델들은 약 ∼ 1.9%의 예측 오차를 보였으며, 이는 매우 정확한 수준으로 실제 환경에 적용 가능하다.

이 논문은 기계 학습을 이용한 제어 트래픽(control traffic) 예측 모델 수립을 위한 자동화 예측 모델 수립 프레임워크인 Elixir를 제시한다. 제어 트래픽은 소프트웨어 정의 네트워킹(Software-Defined Networking, SDN) 시스템에서 전체 시스템의 신뢰성과 확장성을 좌우하기 때문에 필수적이다. 여러 연구에서는 SDN 시스템의 적절한 프로비저닝 및 계획 수립을 위해 제어 트래픽 예측 모델을 설계하고자 시도해 왔다. 그러나 기존에 제안된 모델들은 서술적 모델링(descriptive modeling)에 기반하며, 이는 특정 SDN 시스템 인스턴스에만 적합하다. 또한 이러한 모델들은 SDN 시스템의 이질성으로 인해 정확도가 낮으며(오류 최대 85%), 서술적 모델링은 상당한 수준의 인간의 숙고를 요구하므로 수많은 SDN 시스템 인스턴스에 대해 적절한 예측 모델을 수립하는 것은 불가능하다. Elixir는 기계 학습을 적용함으로써 이러한 문제를 해결한다. Elixir는 자체 생성한 데이터셋을 통해 모델 수립을 시작한다. 그 후, Elixir는 각 SDN 시스템에 대해 정확도를 맞추는 예측 모델을 탐색한다. 또한 Elixir는 모델 학습에 사용된 토폴로지와 다른 네트워크 토폴로지에서도 합리적인 정확도를 보이는 견고한 모델을 선택한다. 우리는 Elixir 프레임워크를 아홉 개의 이질적인 SDN 시스템에서 평가한다. 주요 결과로서 Elixir는 제어 트래픽 처리량(control traffic throughput)에 대한 기존 모델과 비교하여 최대 10.6배 향상에 해당하는 수준으로 예측 오류를 유의미하게 감소시킨다. 이는 OpenDayLight controller의 제어 트래픽 처리량에 대한 성능이다.

우리는 소프트웨어 정의 네트워킹(SDN)에 기반한 네트워크 가상화(NV)에서 대역폭 격리 보장을 제공하는 TeaVisor를 제안한다. SDN 기반 NV(SDN-NV)는 테폴로지 및 주소 가상화를 제공하면서, 가상 네트워크에서 유연한 자원 할당, 제어 및 모니터링을 가능하게 하여 클라우드에 많은 이점을 제공한다. 그러나 SDN-NV에서는 경로 라우팅이 테넌트가 독립적으로 수행하므로, 기존 연구들은 과부하 링크 문제로 인해 대역폭 격리 보장을 구현하기 어렵다. 대역폭 격리 보장은 SDN-NV에서 네트워크 서비스의 안정적이고 신뢰할 수 있는 처리량을 제공하는 데 필수적이다. 대역폭 격리 보장이 없으면 테넌트는 서비스 품질이 저하되고 수익이 상당히 손실된다. 이러한 문제를 해결하기 위해 우리는 TeaVisor를 경로 가상화, 대역폭 예약, 경로 설정의 세 구성 요소로 설계하고 구현한다. 광범위한 실험을 통해 TeaVisor는 거의 0에 가까운 오류로 대역폭 격리가 보장됨을 보여주며, 이는 기존 연구보다 3자릿수(천 배) 더 향상된 성능이다. 또한 TeaVisor는 최소 및 최대 대역폭을 동시에 보장한다. 아울러 제어 트래픽과 메모리 사용량 측면에서 TeaVisor의 오버헤드 분석을 제시한다.

이 글은 사물인터넷(IoT) 장치에서 네트워크 처리와 관련된 컴퓨팅 및 통신 오버헤드를 탐구하며, 엣지 컴퓨팅의 주요 구성 요소인 컨테이너에 초점을 둔다. 우리의 실험 결과, IoT 장치의 컨테이너는 네이티브 프로세스에 비해 SoftIRQ 처리를 위한 CPU 사용률이 $\sim 2.6\times$ 더 높고, 네트워크 처리량은 약 59% 감소하며, 평균적으로 패킷당 지연이 $2\times$ 더 큰 것으로 나타났다. 기존의 여러 연구는 네트워킹 성능을 향상시키지만, 특별한 하드웨어 요구 또는 네트워크 의미론이나 API의 수정과 같은 방식으로 상호운용성을 희생하는 경우가 흔하다. 따라서 우리는 IoT 장치에 필수적인 상호운용성을 유지하는 커널 네트워킹 가속기인 SCON을 설계하고 구현한다. SCON은 시스템 수준의 프로파일링을 통해 컨테이너 네트워킹에서의 주요 병목을 해결한다. 우리는 세 가지 유형의 Io트 장치에서 SCON을 평가한다. Raspberry Pi 4에서는 SCON이 주요 IoT 응용 프로토콜(예: HTTP 및 MQTT)의 지연을 $\sim 10\times$ 까지 감소시켜, 네이티브 프로세스와 유사한 수준의 지연을 달성한다. 추가 분석에서는 SCON이 SoftIRQ 처리를 위한 CPU 사용률을 약 26% 감소시키는 것으로 확인되었다. 또한 나머지 두 가지 IoT 장치에서도 유사한 개선을 보고한다. 결론적으로 SCON은 상호운용성을 유지하면서도 IoT 장치에서 컨테이너 네트워킹의 컴퓨팅 및 통신 오버헤드를 유의미하게 감소시키는 점에서 독특하다. 더 나아가 유선 또는 무선 여부, 그리고 트래픽이 과중하거나 산발적인 경우와 무관하게 서로 다른 유형의 장치 전반에서 일관되게 작동한다.

블록체인은 클라우드 서비스 제공자들에 의해 블록체인-아즈-어-서비스(blockchain-as-a-service, BaaS)로 점차 제공되고 있다. 그러나 최적의 성능과 신뢰성을 위해 BaaS를 적절하게 구성하는 일은 시행착오에 의존하는 경우가 많다. 핵심 과제는 BaaS가 흔히 “블랙박스(black-box)”로 인식되어 성능과 자원 할당에 대한 불확실성이 발생한다는 점이다. 선행 연구들은 이러한 과제를 다루고자 시도해 왔으나, 수직 및 수평 스케일링의 영향은 여전히 명확히 파악되지 못한 상태다. 이에 본 연구에서는 스케일링 구성에 기반하여 네트워크 신뢰성과 처리량(throughput)을 예측하기 위한 머신러닝 기반 모델을 제시한다. 평가 결과, 해당 모델들은 약 ∼ 1.9%의 예측 오차를 보였으며, 이는 매우 정확한 수준으로 실제 환경에 적용 가능하다.

이 논문은 기계 학습을 이용한 제어 트래픽(control traffic) 예측 모델 수립을 위한 자동화 예측 모델 수립 프레임워크인 Elixir를 제시한다. 제어 트래픽은 소프트웨어 정의 네트워킹(Software-Defined Networking, SDN) 시스템에서 전체 시스템의 신뢰성과 확장성을 좌우하기 때문에 필수적이다. 여러 연구에서는 SDN 시스템의 적절한 프로비저닝 및 계획 수립을 위해 제어 트래픽 예측 모델을 설계하고자 시도해 왔다. 그러나 기존에 제안된 모델들은 서술적 모델링(descriptive modeling)에 기반하며, 이는 특정 SDN 시스템 인스턴스에만 적합하다. 또한 이러한 모델들은 SDN 시스템의 이질성으로 인해 정확도가 낮으며(오류 최대 85%), 서술적 모델링은 상당한 수준의 인간의 숙고를 요구하므로 수많은 SDN 시스템 인스턴스에 대해 적절한 예측 모델을 수립하는 것은 불가능하다. Elixir는 기계 학습을 적용함으로써 이러한 문제를 해결한다. Elixir는 자체 생성한 데이터셋을 통해 모델 수립을 시작한다. 그 후, Elixir는 각 SDN 시스템에 대해 정확도를 맞추는 예측 모델을 탐색한다. 또한 Elixir는 모델 학습에 사용된 토폴로지와 다른 네트워크 토폴로지에서도 합리적인 정확도를 보이는 견고한 모델을 선택한다. 우리는 Elixir 프레임워크를 아홉 개의 이질적인 SDN 시스템에서 평가한다. 주요 결과로서 Elixir는 제어 트래픽 처리량(control traffic throughput)에 대한 기존 모델과 비교하여 최대 10.6배 향상에 해당하는 수준으로 예측 오류를 유의미하게 감소시킨다. 이는 OpenDayLight controller의 제어 트래픽 처리량에 대한 성능이다.

우리는 소프트웨어 정의 네트워킹(SDN)에 기반한 네트워크 가상화(NV)에서 대역폭 격리 보장을 제공하는 TeaVisor를 제안한다. SDN 기반 NV(SDN-NV)는 테폴로지 및 주소 가상화를 제공하면서, 가상 네트워크에서 유연한 자원 할당, 제어 및 모니터링을 가능하게 하여 클라우드에 많은 이점을 제공한다. 그러나 SDN-NV에서는 경로 라우팅이 테넌트가 독립적으로 수행하므로, 기존 연구들은 과부하 링크 문제로 인해 대역폭 격리 보장을 구현하기 어렵다. 대역폭 격리 보장은 SDN-NV에서 네트워크 서비스의 안정적이고 신뢰할 수 있는 처리량을 제공하는 데 필수적이다. 대역폭 격리 보장이 없으면 테넌트는 서비스 품질이 저하되고 수익이 상당히 손실된다. 이러한 문제를 해결하기 위해 우리는 TeaVisor를 경로 가상화, 대역폭 예약, 경로 설정의 세 구성 요소로 설계하고 구현한다. 광범위한 실험을 통해 TeaVisor는 거의 0에 가까운 오류로 대역폭 격리가 보장됨을 보여주며, 이는 기존 연구보다 3자릿수(천 배) 더 향상된 성능이다. 또한 TeaVisor는 최소 및 최대 대역폭을 동시에 보장한다. 아울러 제어 트래픽과 메모리 사용량 측면에서 TeaVisor의 오버헤드 분석을 제시한다.

이 글은 클라우드에서 서비스 수준 목표(SLO)를 달성하는 데 핵심적인 네트워크 성능 요구사항을 만족시키는 방법을 탐구한다. 전통적인 네트워크 성능 관리 기법은 네트워크 SLO를 만족시키는 데 제한적인 능력만을 가진다. 심층 분석 결과, 근본적인 원인은 현재의 CPU 스케줄러가 해당 네트워크 요구사항을 인지하지 못한 채 모든 컨테이너에 공정한 비율의 CPU만을 제공한다는 점에서 CPU 스케줄러와 네트워크 트래픽 제어기가 분리되어 있기 때문이다. 따라서 CPU 할당이 충분하지 않은 경우, 해당 컨테이너는 자신의 SLO를 만족하는 데 필요한 만큼의 네트워크 처리를 수행할 수 없다. 본 연구에서는 컨테이너의 CPU 할당을 동적으로 조절하여 네트워크 SLO를 만족시키는 Autothrottle을 제안한다. Autothrottle의 핵심 요소는 요구사항을 만족하는 데 필요한 각 컨테이너별 CPU의 양을 자율적으로 결정하는 스로틀 알고리즘이다. 우리는 Linux 커널에 Autothrottle을 구현하고, Apache Kafka와 같은 대규모의 실제 환경 워크로드로 평가를 수행한다. 평가 결과, Autothrottle은 기존 방식이 SLO 대비 20% 낮은 성과를 보이는 데 비해, SLO와의 격차 2%만으로 주어진 네트워크 SLO를 성공적으로 만족시킨다. 또한 Autothrottle은 네트워크 처리에서의 CPU 오버헤드를 19% 감소시키며, 기존 방식에 비해 네트워크 처리량을 27% 향상시키는 것도 관찰된다.

데이터센터 네트워크 토폴로지는 서버 머신 사이에 여러 경로를 포함하며, 각 경로에는 가중치가 할당된다. 소프트웨어 스위치는 트래픽 분할(traffic splitting)을 수행하는데, 이는 데이터센터에서 필수적인 네트워킹 연산이다. 기존 연구들은 소프트웨어 스위치를 활용하여 경로 가중치에 따라 연결을 정확히 분할한다는 가정하에, 네트워크 연결을 여러 경로로 분산시키는 방법을 활용하였다. 그러나 우리의 실험 결과, 현재의 트래픽 분할 기법은 상당한 부정확성과 자원 비효율성을 보이는 것으로 나타났다. 그 결과 데이터 마이닝과 딥러닝과 같은 실제 데이터센터 서비스는 이상적인 경우에 비해 통신 완료 시간이 약 2.7배 더 길다. 이러한 문제를 해결하기 위해 우리는 소프트웨어 스위치를 위한 새로운 트래픽 분할 기법인 VALO를 제안하며, 두 가지 목표를 달성하고자 한다: 높은 정확도와 자원 효율성이다. 목표 달성을 위해 우리는 새로운 개념인 score graph와 VALO gravity를 도입한다. 우리는 사실상의 소프트웨어 스위치인 Open vSwitch를 사용하여 VALO를 구현하고, 이를 철저히 평가한다. 평균적으로 VALO는 기존 기법에 비해 정확도는 13.1배 더 향상되고 자원 효율성은 25.4배 더 향상되며, 최대 개선 폭은 각각 최대 34.8배와 67.7배에 이른다. 그 결과 VALO는 실제 데이터센터 서비스에서 기존 기법에 비해 평균 통신 완료 시간을 1.3배-2.5배 더 빠르게 달성함을 보여준다.

최근 거대 언어 모델(GPT, LLaMA, PaLM 등)은 의학, 교육, 금융, 법학, 마케팅 등 다양한 분야에서 활발히 활용되고 있다. 이러한 모델들은 매우 많은 매개변수를 지니고 있어 여러 GPU를 활용해야만 모델을 로드하고 추론을 수행할 수 있다. 추론 서비스를 운영하는 클러스터나 클라우드의 시스템 관리자에게는 주어진 GPU와 네트워크 자원을 최대한 효율적으로 사용하면서 많은 사용자 요청에 빠르게 응답하는 것이 매우 중요하다. 이를 위해 현재의 거대 언어 모델 추론 시스템은 다양한 병렬화 및 최적화 전략을 사용하고 있다. 본 논문은 LLM의 추론과정에서 병렬화, 최적화 전략, 및 배치 사이즈의 변화에 따른 추론 시간, 예측 정확도, GPU 통신량과 GPU 메모리 점유량을 상세히 프로파일링하고 분석한다. 특히, 본 연구는 GPU에 대한 엄밀한 자원 측정을 위해 프로파일러를 새롭게 개발하여 사용한다. 프로파일링 및 분석 결과, 본 연구는 배치 사이즈가 증가하면 병렬화 전략에 의해 GPU 통신량이 증가하여 비효율성을 초래할 수 있음을 관측한다. 반면, GPU 메모리 측면에서는 배치 사이즈가 커질수록 메모리를 더 적극적으로 활용하나, 물리 메모리 크기를 초과하여 메모리 부족(out-of-memory)이 발생하는 특정 임계점이 존재함을 확인한다. 이러한 관측은 향후 LLM의 효율적인 추론 시스템을 설계하는 데 필요한 중요한 기반이 될 것으로 기대된다.

최근 가상머신의 높은 보안성과 컨테이너의 경량성을 결합한 경량 보안 가상화 플랫폼들이 제안되고 있다. 이 기술은 특히 IoT 장치 및 게이트웨이처럼 막대한 양의 데이터를 처리하면서도 제한된 컴퓨팅 자원을 가진 엣지 컴퓨팅 환경에서 보안과 성능을 동시에 추구할 수 있는 중요한 기술로 간주된다. 다양한 플랫폼 기술이 제안되었지만, IoT 장치들과 엣지 컴퓨팅 환경에서 이들 플랫폼을 비교하고 구체적인 워크로드 성능과 CPU 사용을 이해한 연구는 부족하다. 따라서 각 상황과 워크로드에 최적의 성능과 효율적인 자원 소모량을 파악하기 어려운 상황이다. 본 논문은 최신 경량 보안 가상화 플랫폼인 Firecracker, Kata container, Unikraft를 엣지 컴퓨팅 환경에서 비교 분석한다. 특히, 데이터 수집 및 저장에 빈번히 사용되는 Redis 프로그램을 대상으로 각 플랫폼의 초당 요청 처리량과 CPU 소모량을 세부적으로 분석하였다. 분석 결과, 엣지 컴퓨팅에서 송수신하는 메시지 크기에 따라 최적의 플랫폼이 달라지며, 플랫폼 선택에 따라 사용자 응용 프로그램이 활용 가능한 CPU 자원이 상이해짐을 확인하였다. 이 연구는 세 플랫폼에 대한 분석을 넘어서, 실제 엣지 컴퓨팅 환경에서 적합한 경량 보안 가상화 플랫폼을 선정하는 데 필요한 이해와 기준을 제공한다.

성능 격리는 클라우드에서 네트워크 가상화가 반드시 제공해야 하는 핵심 특성이다. 본 연구는 가상화된 소프트웨어 정의 네트워킹(SDN)에서 제어 평면의 성능 격리를 다루며, 이를 제어 채널 격리(control channel isolation)라고 한다. 먼저, 기존 네트워크 하이퍼바이저에서는 가상 스위치의 수가 증가함에 따라 종단 간 제어 지연이 최대 15배까지 증가하므로, 제어 채널 격리가 심각하게 깨져 있음을 보고한다. 이는 데이터센터에서 라우팅과 같은 핵심 네트워크 동작을 위태롭게 한다. 이 문제를 해결하기 위해 시간열 데이터로서 과거 제어 트래픽으로부터 학습하는 기계 학습 접근법을 채택한다. 우리는 각 가상 스위치에 대한 제어 트래픽을 예측하기 위해 LSTM 오토인코더를 설계하는 새로운 네트워크 하이퍼바이저 Meteor를 제안한다. 평가 결과에 따르면 Meteor는 제어 메시지당 처리 지연을 최대 12.7배까지 개선한다. 또한 Meteor는 종단 간 제어 지연을 최대 73.7%까지 감소시켜, 비가상화 SDN과 비교 가능한 수준을 제공한다.