동시적 위치추정 및 지도작성(Simultaneous Localization and Mapping, SLAM)은 자율주행, 모바일 로보틱스, 혼합현실 등 다양한 분야에서 핵심적인 역할을 해왔다. RGB-D 카메라 시스템을 활용하는 밀집 시각 SLAM은 장점을 제공하지만, 대규모 장면에 대해 실시간 성능, 강건성, 확장성을 달성하는 데 어려움이 있다. 최근에는 신경 암시적 장면 표현을 사용하는 접근들이 가능성을 보이지만, 높은 계산 비용과 메모리 요구량이라는 한계를 겪는다. ESLAM은 평면 기반 텐서 분해를 도입했으나, 여전히 메모리 증가 문제로 어려움을 겪었다. 이러한 과제를 해결하기 위해, 저랭크 텐서 분해 기법을 활용하는 보다 효율적인 시각 SLAM 모델인 LRSLAM을 제안한다. 우리의 접근은 6축(Six-axis)과 CP 분해를 활용함으로써, 기존의 최신 기술 대비 더 나은 수렴 속도, 메모리 효율성, 그리고 재구성/위치추정 품질을 달성한다. 다양한 실내 RGB-D 데이터셋에 대한 평가는 LRSLAM이 매개변수 효율성, 처리 시간, 정확도 측면에서 우수한 성능을 보이며, 재구성 및 위치추정 품질을 유지함을 보여준다. 본 연구의 코드는 출판 시 공개될 예정이다.

우리는 음성 유도를 통한 국소화 이미지 스타일화(audo-guided localized image stylization)를 위한 새로운 프레임워크를 제안한다. 소리는 장면의 특정 맥락에 관한 정보를 제공하며, 장면의 특정 부분 또는 대상과 밀접하게 연관되어 있다. 그러나 기존의 이미지 스타일화 연구들은 이미지 또는 텍스트 입력을 사용하여 전체 이미지를 스타일화하는 데에 초점을 맞춰 왔다. 음성 입력에 따라 이미지의 특정 부분을 스타일화하는 것은 자연스러우나 도전적이다. 본 연구는 사용자가 음성 입력을 제공하여 입력 이미지에서 목표를 국소화하고, 동시에 목표 대상 또는 장면을 음성에 근거해 국소적으로 스타일화하도록 하는 프레임워크를 제안한다. 먼저 CLIP 임베딩 공간을 활용하는 오디오-비주얼 국소화 네트워크를 통해 정밀한 국소화 맵(fine localization map)을 생성한다. 이후 예측된 국소화 맵과 함께 암시적 신경 표현(implicit neural representation, INR)을 이용하여 음성 정보에 기반해 목표를 스타일화한다. INR은 제공된 음성 입력과 의미적으로 일관되도록 국소 픽셀 값을 조작한다. 실험 결과, 제안한 프레임워크는 다른 음성 유도 스타일화 방법들보다 우수한 성능을 보였다. 또한, 본 방법은 간결한 국소화 맵을 구성하고 주어진 음성 입력에 따라 목표 대상 또는 장면을 자연스럽게 조작함을 관찰하였다.

동시적 위치추정 및 지도작성(Simultaneous Localization and Mapping, SLAM)은 자율주행, 모바일 로보틱스, 혼합현실 등 다양한 분야에서 핵심적인 역할을 해왔다. RGB-D 카메라 시스템을 활용하는 밀집 시각 SLAM은 장점을 제공하지만, 대규모 장면에 대해 실시간 성능, 강건성, 확장성을 달성하는 데 어려움이 있다. 최근에는 신경 암시적 장면 표현을 사용하는 접근들이 가능성을 보이지만, 높은 계산 비용과 메모리 요구량이라는 한계를 겪는다. ESLAM은 평면 기반 텐서 분해를 도입했으나, 여전히 메모리 증가 문제로 어려움을 겪었다. 이러한 과제를 해결하기 위해, 저랭크 텐서 분해 기법을 활용하는 보다 효율적인 시각 SLAM 모델인 LRSLAM을 제안한다. 우리의 접근은 6축(Six-axis)과 CP 분해를 활용함으로써, 기존의 최신 기술 대비 더 나은 수렴 속도, 메모리 효율성, 그리고 재구성/위치추정 품질을 달성한다. 다양한 실내 RGB-D 데이터셋에 대한 평가는 LRSLAM이 매개변수 효율성, 처리 시간, 정확도 측면에서 우수한 성능을 보이며, 재구성 및 위치추정 품질을 유지함을 보여준다. 본 연구의 코드는 출판 시 공개될 예정이다.

우리는 음성 유도를 통한 국소화 이미지 스타일화(audo-guided localized image stylization)를 위한 새로운 프레임워크를 제안한다. 소리는 장면의 특정 맥락에 관한 정보를 제공하며, 장면의 특정 부분 또는 대상과 밀접하게 연관되어 있다. 그러나 기존의 이미지 스타일화 연구들은 이미지 또는 텍스트 입력을 사용하여 전체 이미지를 스타일화하는 데에 초점을 맞춰 왔다. 음성 입력에 따라 이미지의 특정 부분을 스타일화하는 것은 자연스러우나 도전적이다. 본 연구는 사용자가 음성 입력을 제공하여 입력 이미지에서 목표를 국소화하고, 동시에 목표 대상 또는 장면을 음성에 근거해 국소적으로 스타일화하도록 하는 프레임워크를 제안한다. 먼저 CLIP 임베딩 공간을 활용하는 오디오-비주얼 국소화 네트워크를 통해 정밀한 국소화 맵(fine localization map)을 생성한다. 이후 예측된 국소화 맵과 함께 암시적 신경 표현(implicit neural representation, INR)을 이용하여 음성 정보에 기반해 목표를 스타일화한다. INR은 제공된 음성 입력과 의미적으로 일관되도록 국소 픽셀 값을 조작한다. 실험 결과, 제안한 프레임워크는 다른 음성 유도 스타일화 방법들보다 우수한 성능을 보였다. 또한, 본 방법은 간결한 국소화 맵을 구성하고 주어진 음성 입력에 따라 목표 대상 또는 장면을 자연스럽게 조작함을 관찰하였다.

복셀 질의의 해상도는 카메라 기반 3D 점유 예측에서 시점 변환(view transformation)의 품질에 상당한 영향을 미친다. 그러나 계산 자원에 대한 제약과 실시간 배치에 대한 실용적 필요성 때문에 더 작은 질의 해상도가 요구되며, 이는 필연적으로 정보 손실을 초래한다. 따라서 제한된 질의 크기 내에서 풍부한 시각적 디테일을 인코딩하고 보존하는 동시에 3D 점유를 포괄적으로 표현할 수 있어야 한다. 이를 위해 우리는 시점 변환에서 클러스터링된 이미지 분할(segments)의 프로토타입(prototypes)을 활용하는 새로운 점유 네트워크인 ProtoOcc를 제안한다. 특히, 2D 프로토타입을 3D 복셀 질의로 사상(mapping)함으로써 고수준의 시각적 기하를 인코딩하고, 질의 해상도 축소로 인한 공간 정보 손실을 보완한다. 또한, 우리는 조밀하게 압축된 시각적 단서를 고차원 3D 점유 장면으로 효율적으로 분리하기 위한 다중 시점 디코딩(multi-perspective decoding) 전략을 설계한다. Occ3D 및 SemanticKITTI 벤치마크에 대한 실험 결과는 제안 방법이 기존 기준(baselines)보다 뚜렷한 향상을 보이며 효과적임을 입증한다. 더 나아가 ProtoOcc는 75\% 감소된 복셀 해상도에서도 기준들과 경쟁력 있는 성능을 달성한다.

하지 보조(외골격) 착용기는 관절의 움직임을 지지함으로써 사용자를 보조한다. 사용자의 움직임 방식에 따라 관절 운동 패턴이 달라지므로, 외골격을 제어하고 사용자의 안전을 확보하기 위해 움직임의 유형(보행/이동 모드)을 정확히 인식하는 것은 매우 중요하다. 인간이 운동을 제어하기 위해 여러 유형의 감각 정보를 사용하는 방식에 착안하여, 우리는 보행/이동 모드 인식(LMR)을 위한 다중모달 시스템을 개발하였으며, 이를 위해 기계적 센서 데이터와 시각 센서 데이터를 모두 사용하여 이동 모드를 식별한다. 본 접근법은 두 가지 융합 방법을 활용한다. 즉, 특징 형태로 데이터를 결합하는 중간 융합(intermediate fusion)과, 각 센서의 인식 결과를 평균하여 센서 데이터를 통합하는 후기 융합(late fusion)이다. 이 두 가지 서로 다른 양식을 융합함으로써, 시험 데이터에서 예측 정확도가 평균 11.7% 향상되었다. 보행/이동 모드 인식에 단일 유형의 센서 데이터에 의존하는 단일모달 LMR 시스템과의 비교를 통해, 다중모달 LMR 시스템의 향상된 성능은 시각 정보가 사용자 전반에 걸친 다양한 보행 패턴을 일반화하는 능력과, 기계적 센서 데이터가 동일한 클래스 내에서 일관성을 보이는 데 기인함을 확인하였다.

3D 점유(occupancy) 예측은 자율주행에서 장면 전반에 대한 이해를 가능하게 하므로 핵심 인지 과제로 자리잡고 있다. 최근의 방법들은 다중 프레임 융합을 통해 시공간 정보를 통합함으로써 이러한 이해를 향상시키지만, 다음과 같은 상충관계가 존재한다. 즉, 밀집 복셀 기반 표현은 상당한 계산 비용을 요구하는 대신 높은 정확도를 제공하며, 희소 표현은 효율을 개선하지만 공간의 상세 정보를 잃게 된다. 이러한 상충관계를 완화하기 위해, 우리는 DuOcc를 제안한다. DuOcc는 공간적 충실도를 보존하기 위해 밀집 복셀 표현을 유지하면서도 높은 효율을 달성하는 이중 집계(dual aggregation) 전략을 사용한다. DuOcc는 두 가지 핵심 구성요소로 이루어진다. (i) 스트림 기반 복셀 집계(Stream-based Voxel Aggregation)는 시간에 따라 복셀 특징을 반복적으로 누적하고 워핑(warping)으로 인한 왜곡을 억제하도록 이를 정련(refine)하여, 점유 공간과 자유 공간(free space) 사이의 명확한 분리를 보존한다. (ii) 쿼리 유도 집계(Query-guided Aggregation)는 복셀 누적의 한계를 보완하기 위해, 동적 객체가 점유하는 복셀 영역에 인스턴스 수준 쿼리 특징(instance-level query features)을 선택적으로 주입한다. 널리 사용되는 Occ3D-nuScenes 및 SurroundOcc 데이터셋에 대한 실험 결과, DuOcc는 실시간 설정에서 최첨단 성능을 달성하면서, 기존 방법에 비해 메모리 사용량을 40% 이상 감소시키는 것으로 나타났다.

복셀 쿼리의 해상도는 카메라 기반 3D 점유 예측에서의 뷰 변환(view transformation) 품질에 큰 영향을 미친다. 그러나 계산 제약과 실시간 배포를 위해 필요한 실용적 요구로 인해 더 작은 쿼리 해상도를 사용할 수밖에 없으며, 이는 필연적으로 정보 손실로 이어진다. 따라서 제한된 쿼리 크기 내에서 풍부한 시각적 디테일을 인코딩하고 보존하되, 3D 점유에 대한 포괄적인 표현을 보장하는 것이 필수적이다. 이를 위해 우리는 뷰 변환에서 클러스터링된 이미지 분할(image segments)의 프로토타입(prototypes)을 활용하는 새로운 점유 네트워크 ProtoOcc를 제안한다. 특히, 2D 프로토타입을 3D 복셀 쿼리에 매핑함으로써 고수준의 시각적 기하를 인코딩하고, 쿼리 해상도 감소로 인한 공간 정보 손실을 보완한다. 또한, 조밀하게 압축된 시각적 단서들을 고차원 3D 점유 장면으로 효율적으로 분해하기 위해 다중 관점 디코딩(multi-perspective decoding) 전략을 설계한다. Occ3D 및 SemanticKITTI 벤치마크에 대한 실험 결과는 제안 방법의 유효성을 보여주며, 기존 베이스라인 대비 뚜렷한 성능 향상을 확인하였다. 더 나아가 ProtoOcc는 복셀 해상도를 75%까지 감소시킨 경우에도 베이스라인과 경쟁력 있는 성능을 달성한다. 프로젝트 페이지: https://kuai-lab.github.io/cvpr2025protoocc.