오픈 보캐뷸러리 3D 객체 탐지는 고정된 학습 분류 체계(training taxonomy) 밖에 있는 객체를 위치 추정하고 인식하는 것을 목표로 한다. 다중 뷰 RGB 설정에서 최근 접근법들은 흔히 기하 기반 인스턴스 구성(instance construction)과 의미 라벨링(semantic labeling)을 분리하여, 분류 비특정(class-agnostic) 조각 조각(fragment)을 생성한 뒤 사후적으로(open-vocabulary) 범주를 할당한다. 이러한 유연한 분리는, 병합(merging) 과정에서 의미적 제약이 부재한 상태에서 인스턴스 구성을 주로 기하적 일관성에 의해 좌우한다. 기하적 증거가 뷰 의존적이고 불완전할 때, 기하만에 기반한 병합은 서로 다른 객체 간의 잘못된 비가역적 연관(association error)으로 이어질 수 있으며, 예컨대 서로 다른 객체를 과도하게 병합(over-merging)하거나 단일 인스턴스를 분절(fragmentation)하는 문제가 발생한다. 본 연구에서는 인스턴스 구성 과정에 의미적 제약을 직접 통합하는 다중 뷰 오픈 보캐뷸러리 3D 탐지 프레임워크인 Group3D를 제안한다. Group3D는 멀티모달 대규모 언어 모델(multimodal large language model, MLLM)에서 유도한 장면 적응형(scene-adaptive) 보캐뷸러리를 유지하고, 이를 그럴듯한 교차 뷰 범주 동치성(cross-view category equivalence)을 인코딩하는 의미 호환성 그룹(semantic compatibility groups)으로 구성한다. 이러한 그룹은 병합 시점 제약(merge-time constraints)으로 작동한다. 즉, 3D 조각은 의미 호환성과 기하적 일관성 모두를 만족할 때만 연관된다. 의미에 의해 게이트된 병합은 기하 중심의 과도 병합을 완화하면서, 다중 뷰 범주 변동성도 수용한다. Group3D는 자세(pose)를 알 수 있는 설정과 자세가 없는 설정 모두를 지원하며, RGB 관측에만 의존한다. ScanNet 및 ARKitScenes에 대한 실험 결과, Group3D는 다중 뷰 오픈 보캐뷸러리 3D 탐지에서 최첨단 성능을 달성하는 동시에, 제로샷(zero-shot) 시나리오에서도 강력한 일반화 성능을 보인다. 프로젝트 페이지는 https://ubin108.github.io/Group3D/ 에서 확인할 수 있다.

대규모 생성 모델(예: 텍스트-투-이미지 확산 모델)은 창의적이고 고품질의 이미지 생성을 통해 다양한 분야에서 큰 주목을 받아왔다. 그럼에도 불구하고 기존의 대규모 확산 모델은 최대 1K 해상도의 이미지만 생성할 수 있어, 오늘날의 현대적 상업 응용에서 요구하는 수준에는 크게 미치지 못한다. 더 높은 해상도의 이미지를 직접 샘플링하면 흔히 객체 반복, 형태 왜곡과 같은 아티팩트로 인해 결과가 손상된다. 이러한 문제를 해결하려면 통상적으로 더 높은 해상도의 데이터셋에 대해 모델을 학습하거나 미세조정해야 한다. 그러나 이는 대규모 고해상도 이미지를 수집하기 어렵고 막대한 계산 자원이 필요하다는 점에서 매우 도전적이다. 일부 선행 연구에서는 번거로운 학습 과정을 우회하는 대안을 제안했지만, 대체로 설득력 있는 결과를 도출하지 못한다. 본 연구에서는 원래의 능력을 넘어 더 높은 해상도에서 확산 모델의 생성 가능성을 탐구하고, 생성된 저해상도 이미지를 고해상도 이미지 생성에 충분히 활용하도록 하는 새로운 점진적(progressive) 접근법을 제안한다. 또한 파이프라인에 이미지 샤프닝(image sharpening) 연산을 통합하여 이미지 품질을 한층 더 향상시킨다. 우리의 방법은 추가적인 학습 또는 미세조정의 필요성을 없애며, 이로써 계산 비용의 부담을 크게 낮춘다. 대규모 실험과 결과를 통해 방법의 효율성과 효과를 검증하였다.

최근 확산 모델(diffusion models)의 발전은 고품질의 시간적 일관성을 갖춘 비디오 생성을 가능하게 하여 비디오 생성 분야에 혁신을 가져왔다. 그러나 고프레임레이트(FPS) 비디오를 생성하는 일은 특히 빠른 움직임이 있는 상황에서 깜빡임(flickering)과 긴 시퀀스에서의 열화(degradation)와 같은 문제로 인해 여전히 중대한 과제로 남아 있다. 기존 방법들은 종종 계산 효율성의 비효율성과, 장시간 프레임에 걸친 비디오 품질 유지에 대한 한계를 겪는다. 본 논문에서는 사전 학습된 확산 모델을 활용한 고 FPS 비디오 생성을 위한 새로운 학습 불필요(training-free) 접근법을 제안한다. 우리의 방법인 DiffuseSlide는 저 FPS 비디오로부터 핵심 프레임(key frames)을 활용하고, 노이즈 재주입(noise re-injection) 및 슬라이딩 윈도우 잠재 공간 잡음 제거(sliding window latent denoising)를 포함한 혁신적인 기법을 적용하는 새로운 파이프라인을 도입하여, 추가적인 미세조정(fine-tuning) 없이도 매끄럽고 일관된 비디오 출력을 달성한다. 광범위한 실험을 통해, 제안한 접근법이 비디오 품질을 유의미하게 향상시키며 시간적 일관성과 공간적 충실도(spatial fidelity)를 강화함을 입증한다. 제안된 방법은 계산적으로 효율적일 뿐 아니라 다양한 비디오 생성 과제에 적용 가능하여 가상현실, 비디오 게임, 고품질 콘텐츠 제작과 같은 응용에 적합하다.

최근 3D 편집의 발전은 실시간이며 사용자 친화적인 AR/VR 응용에서 텍스트 기반 방법의 잠재력을 부각시키고 있다. 그러나 현재의 방법들은 다중 시점 정보를 충분히 고려하지 않고 2D 확산 모델에 의존함으로써 다중 시점 불일치를 초래한다. 3D 가우시안 스플래팅(3DGS)은 렌더링 품질과 속도를 크게 향상시키지만, 3D 편집 과정에서는 비효율적인 최적화로 인해 어려움을 겪는데, 이는 사전 학습된 가우시안이 과도한 소스 정보를 보유하여 최적화를 저해하기 때문이다. 이러한 한계를 해결하기 위해, 우리는 Multi-view Fusion Guidance(MFG)와 Attention-Guided Trimming(AGT)을 통합한 새로운 텍스트 기반 3D 장면 편집 프레임워크 EditSplat을 제안한다. 우리의 MFG는 텍스트-이미지 확산 모델에서의 classifier-free guidance와 3DGS에 내재된 기하학적 구조를 활용하여 확산 과정에 필수적인 다중 시점 정보를 통합함으로써 다중 시점 일관성을 보장한다. 또한 우리의 AGT는 3DGS의 명시적 표현을 이용하여 3D 가우시안을 선택적으로 가지치기(prune)하고 최적화하여 최적화 효율을 향상시키며, 정밀하고 의미론적으로 풍부한 로컬 편집을 가능하게 한다. 광범위한 정성적 및 정량적 평가를 통해 EditSplat은 최첨단 성능을 달성하여 텍스트 기반 3D 장면 편집을 위한 새로운 벤치마크를 제시한다. 프로젝트 웹사이트: https://kuai-lab.github.io/editsplat2024/

3D 초해상도는 저해상도(LR) 다중 시점 이미지로부터 고충실도의 3D 모델을 재구성하는 것을 목표로 한다. 초기 연구들은 주로 단일 이미지 초해상도(SISR) 모델을 활용하여 LR 이미지를 고해상도 이미지로 업샘플링하는 데 초점을 맞추었다. 그러나 이러한 방법들은 각 이미지를 독립적으로 처리하기 때문에 종종 시점 간 일관성이 부족하다. 이러한 불일치를 완화하기 위해 다양한 후처리 기법들이 광범위하게 탐색되어 왔음에도, 문제를 완전히 해결하지는 못했다. 본 논문에서는 비디오 초해상도(VSR) 모델을 활용하여 3D 초해상도에 대한 포괄적인 연구를 수행한다. VSR 모델을 이용함으로써 더 높은 수준의 공간 일관성을 확보할 수 있으며, 주변의 공간 정보를 참조할 수 있어 보다 정확하고 상세한 재구성이 가능해진다. 우리의 결과는 정밀한 공간 정렬이 결여된 시퀀스에서도 VSR 모델이 매우 우수하게 성능을 발휘할 수 있음을 보여준다. 이러한 관찰에 근거하여, 미세 조정이나 학습된 3D 모델로부터 LR 이미지에 대해 `smooth' 궤적을 생성하는 과정 없이, LR 이미지를 정렬하는 간단하면서도 실용적인 접근법을 제안한다. 실험 결과는 놀라울 정도로 단순한 알고리즘들이 NeRF-synthetic 및 Mip-NeRF 360과 같은 표준 벤치마크 데이터셋에서 3D 초해상도 과제의 최신(state-of-the-art) 결과를 달성할 수 있음을 보여준다.

최근 동적 3D 장면 재구성에서의 발전은 향상된 시간적 일관성을 바탕으로 고충실도 3D 신참(新視) 뷰 합성을 가능하게 하여 유망한 결과를 보여 왔다. 그중에서도 4D Gaussian Splatting(4DGS)은 고충실도의 공간 및 시간 변화를 모델링할 수 있다는 점에서 매력적인 접근으로 부상하였다. 그러나 기존 방법들은 정적인 영역에 대해 4D 가우시안을 중복으로 할당함으로써 상당한 계산 및 메모리 오버헤드를 겪으며, 이는 이미지 품질을 저하시킬 수도 있다. 본 연구에서는 정적인 영역은 3D 가우시안으로 적응적으로 표현하되 동적 요소는 4D 가우시안으로 유보하는 하이브리드 3D-4D Gaussian Splatting(3D-4DGS)이라는 새로운 프레임워크를 제안한다. 우리의 방법은 완전한 4D 가우시안 표현으로 시작하여, 시간에 대해 불변인 가우시안을 반복적으로 3D로 변환함으로써 파라미터의 수를 크게 줄이고 계산 효율을 향상시킨다. 한편 동적 가우시안은 4D 표현을 그대로 유지하여 고충실도로 복잡한 움직임을 포착한다. 본 접근은 기본(baseline) 4D Gaussian Splatting 방법에 비해 유의하게 더 빠른 학습 시간을 달성하면서도 시각적 품질을 유지하거나 개선한다.

오픈 보캐뷸러리 3D 객체 탐지는 고정된 학습 분류 체계(training taxonomy) 밖에 있는 객체를 위치 추정하고 인식하는 것을 목표로 한다. 다중 뷰 RGB 설정에서 최근 접근법들은 흔히 기하 기반 인스턴스 구성(instance construction)과 의미 라벨링(semantic labeling)을 분리하여, 분류 비특정(class-agnostic) 조각 조각(fragment)을 생성한 뒤 사후적으로(open-vocabulary) 범주를 할당한다. 이러한 유연한 분리는, 병합(merging) 과정에서 의미적 제약이 부재한 상태에서 인스턴스 구성을 주로 기하적 일관성에 의해 좌우한다. 기하적 증거가 뷰 의존적이고 불완전할 때, 기하만에 기반한 병합은 서로 다른 객체 간의 잘못된 비가역적 연관(association error)으로 이어질 수 있으며, 예컨대 서로 다른 객체를 과도하게 병합(over-merging)하거나 단일 인스턴스를 분절(fragmentation)하는 문제가 발생한다. 본 연구에서는 인스턴스 구성 과정에 의미적 제약을 직접 통합하는 다중 뷰 오픈 보캐뷸러리 3D 탐지 프레임워크인 Group3D를 제안한다. Group3D는 멀티모달 대규모 언어 모델(multimodal large language model, MLLM)에서 유도한 장면 적응형(scene-adaptive) 보캐뷸러리를 유지하고, 이를 그럴듯한 교차 뷰 범주 동치성(cross-view category equivalence)을 인코딩하는 의미 호환성 그룹(semantic compatibility groups)으로 구성한다. 이러한 그룹은 병합 시점 제약(merge-time constraints)으로 작동한다. 즉, 3D 조각은 의미 호환성과 기하적 일관성 모두를 만족할 때만 연관된다. 의미에 의해 게이트된 병합은 기하 중심의 과도 병합을 완화하면서, 다중 뷰 범주 변동성도 수용한다. Group3D는 자세(pose)를 알 수 있는 설정과 자세가 없는 설정 모두를 지원하며, RGB 관측에만 의존한다. ScanNet 및 ARKitScenes에 대한 실험 결과, Group3D는 다중 뷰 오픈 보캐뷸러리 3D 탐지에서 최첨단 성능을 달성하는 동시에, 제로샷(zero-shot) 시나리오에서도 강력한 일반화 성능을 보인다. 프로젝트 페이지는 https://ubin108.github.io/Group3D/ 에서 확인할 수 있다.

대규모 생성 모델(예: 텍스트-투-이미지 확산 모델)은 창의적이고 고품질의 이미지 생성을 통해 다양한 분야에서 큰 주목을 받아왔다. 그럼에도 불구하고 기존의 대규모 확산 모델은 최대 1K 해상도의 이미지만 생성할 수 있어, 오늘날의 현대적 상업 응용에서 요구하는 수준에는 크게 미치지 못한다. 더 높은 해상도의 이미지를 직접 샘플링하면 흔히 객체 반복, 형태 왜곡과 같은 아티팩트로 인해 결과가 손상된다. 이러한 문제를 해결하려면 통상적으로 더 높은 해상도의 데이터셋에 대해 모델을 학습하거나 미세조정해야 한다. 그러나 이는 대규모 고해상도 이미지를 수집하기 어렵고 막대한 계산 자원이 필요하다는 점에서 매우 도전적이다. 일부 선행 연구에서는 번거로운 학습 과정을 우회하는 대안을 제안했지만, 대체로 설득력 있는 결과를 도출하지 못한다. 본 연구에서는 원래의 능력을 넘어 더 높은 해상도에서 확산 모델의 생성 가능성을 탐구하고, 생성된 저해상도 이미지를 고해상도 이미지 생성에 충분히 활용하도록 하는 새로운 점진적(progressive) 접근법을 제안한다. 또한 파이프라인에 이미지 샤프닝(image sharpening) 연산을 통합하여 이미지 품질을 한층 더 향상시킨다. 우리의 방법은 추가적인 학습 또는 미세조정의 필요성을 없애며, 이로써 계산 비용의 부담을 크게 낮춘다. 대규모 실험과 결과를 통해 방법의 효율성과 효과를 검증하였다.