신경 복사장(NeRF, Neural Radiance Field)은 렌더링에서 전례 없는 사실감을 제공하는 최신 기술로 부상하였다. 그럼에도 불구하고, NeRF의 도입은 높은 연산 비용으로 인해 렌더링 속도가 느리다는 제약을 받는다. NeRF의 복셀 기반 최적화는 계산 비용을 줄여 이러한 문제를 완화하지만, 상당한 메모리 오버헤드를 야기한다. 본 연구에서는 이 문제를 해결하기 위해 하드웨어-소프트웨어 공동 설계 접근법인 NeRF-PIM을 제안한다. 국소성이 좋지 않은 대규모 모델(복셀 그리드)에 대한 메모리 접근과 낮은 연산 밀도로 인한 문제를 해결하기 위해, 데이터 배치, 중복 제거, 연산 재사용의 관점에서 처리-in-메모리(PIM)와 PIM 인지형 소프트웨어 최적화를 함께 활용하는 방안을 제안한다. 본 PIM 하드웨어는 삼선형 보간과 내적(dot product) 연산을 가속하는 것을 목표로 한다. 특히 복셀에 대한 무작위 접근으로 인해 내부 대역폭 활용도가 낮은 문제를 해결하기 위해, 복셀 그리드에서의 보간 연산의 특성을 신중하게 활용하는 데이터 배치를 제안한다. 이는 복셀 접근에서의 뱅크 충돌(bank conflicts)을 제거하는 데 도움을 줄 뿐 아니라, 기존 PIM 장치의 all-bank 모드를 활용하여 PIM 명령 발행의 효율을 향상시킨다. PIM 인지형 소프트웨어 최적화로는 점유 그리드(occupancy-grid) 인지 가지치기(Pruning)와 one-voxel two-sampling(1V2S) 기법을 제안하며, 이는 빈 공간에서의 중복 연산을 회피함으로써 계산 효율을 향상시키고, 복셀 단위의 내적 결과를 재사용함으로써 메모리 트래픽을 감소시키는 데 기여한다. 실제 기준 HBM-PIM 장치를 사용하여 실험을 수행하였다. 그 결과, NeRF-PIM은 Synthetic-NeRF 및 Tanks and Temples의 두 데이터셋에서 각각 기준 대비 7.4배 및 의 속도 향상을 보였다.
*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.