본 연구에서는 몰입형 3D 화상회의를 위한 새로운 통신 패러다임인 파라미터화 통신(parameterized communication)을 탐구한다. 이 방식은 과도한 체적 데이터의 교환 필요성을 제거함으로써 대역폭 사용을 극적으로 감소시킨다. 대신, 3D 공간에서 핵심 요소를 나타내는 유익한 파라미터의 간결한 집합을 추출하고, 해당 파라미터만 전송한 뒤 수신 측에서 장면을 재구성한다. 이러한 개념을 실제로 구현하기 위해 우리는 얼굴 파라미터 추출기와 신경 렌더링 기반 장면 생성기로 구성된 모바일 3D 회의 시스템 Empilo를 제시한다. 그러나 신경 렌더링은 명시적인 3D 모델 없이도 임의 시점을 합성하는 데 뛰어난 성능을 보이지만, 그 막대한 계산 요구량이 모바일 배치에 있어 주요 장애물로 작용한다. 이 문제를 극복하기 위해 우리는 truncated ray marching(절단 레이 마칭)이라 불리는 새로운 기법을 제안하며, 반복적인 MLP 추론을 얕은 신경망의 단일 패스(one-pass)로 대체함으로써 계산 오버헤드를 유의하게 줄인다. 또한 일관된 몰입감을 보장하기 위해, 신경 렌더러(neural-free) 기반의 경량 렌더러를 분리된 컴포넌트로 구조화하여 동적인 시점 변화에 대해 신속한 응답성을 제공하는 데 전념하도록 한다. 이러한 계산상의 혁신을 통해 Empilo는 모바일 자원에 전적으로 의존하면서도 프레임 생성 시간 30.3 ms와 재렌더링 지연 6.6 ms의 실시간 성능을 달성하며, 동시에 매우 낮은 비트레이트 24 kbps로 구동된다. 본 접근은 FaceTime 및 Zoom과 같은 플랫폼 수준의 접근성을 염두에 두고, 3D 화상회의의 실제 배치에 대한 유용한 지침을 제공한다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.