LiDAR 심도 보완은 희소 LiDAR 스캔으로부터 조밀한 심도 영상을 복원하는 것을 목표로 한다. 기존 방법들은 3D 장면 이해를 개선한다고 주장하지만, 3D 공간으로 직접 역투영하면 대개 물체 경계 주변에 오류가 있는 점들이 추가되어 결과적으로 하위 인식 성능이 저하된다. 핵심적으로, 이러한 방법들은 유사-LiDAR(pseudo-LiDAR) 품질을 제어하기 위한 메커니즘 없이 2D 복원에만 집중한다. 이를 해결하기 위해, 조밀한 심도 맵과 픽셀 단위 신뢰도(confidence) 맵을 함께 예측하는 새로운 심도 보완 네트워크를 제안한다. 신뢰도 맵은 유사-LiDAR 점군(pseudo-LiDAR point cloud) 생성 과정에서 신뢰할 수 없는 추정을 필터링하여 선택적 역투영을 가능하게 한다. 또한 LiDAR 반응은 장거리에서 점점 더 희소해지므로, 우리의 신뢰도 맵은 신뢰할 수 있는 장거리 추정을 우선하도록 학습한다. 이러한 학습 기반 보상 메커니즘은 센서의 한계를 완화하는 동시에 원거리 물체에 대한 탐지 성능을 향상시킨다. KITTI 3D 벤치마크에서, 우리의 유사-LiDAR로 학습된 검출기는 원시 32채널 데이터로 학습된 검출기보다 3D AP에서 14.2% 더 높은 성능을 보이며, 64채널 센서 전체와의 성능 격차를 63%까지 줄인다.

본 연구는 자른 영역을 방지하면서 해상도를 유지하고, 안정성과 왜곡의 저하를 최소화하여 증강현실(Augmented Reality) 애플리케이션을 위한 비디오의 안정성을 향상시키는, 시각적으로 유용한 이미지를 생성하는 것을 목적으로 한다. 본 연구의 초점은 실행 속도를 유지하면서 성능 개선의 균형을 맞추는 연구를 수행하는 데 있다. 이를 위해 Versatile Quaternion-based Filter 알고리즘과 광학 흐름(optical flow)을 이용하여 관성측정장치(Inertial Measurement Unit, IMU) 센서 데이터를 처리한 후, 입력 비디오의 프레임에 대해 먼저 모션 보정을 적용한다. 크롭(cropping)에 대응하기 위해 PCA-flow 기반 비디오 안정화를 추가로 수행한다. 또한 전체 프레임 비디오 생성 과정에서 발생하는 왜곡을 완화하기 위해 신경 렌더링(neural rendering)을 적용하여 안정화된 프레임의 출력을 얻는다. IMU 센서를 사용하는 경우의 예상 효과는 비디오의 안정성을 증가시키면서도 시각적 품질을 유지하는 전체 프레임 비디오의 생성이다. 본 기술은 비디오 흔들림을 교정하는 데 기여하며, 저비용으로 시각적으로 유용한 이미지를 생성할 수 있다는 장점이 있다. 따라서 본 연구는 IMU 센서를 이용한 모션 보정 이후 전체 프레임 비디오를 산출하는 새로운 하이브리드(full-frame) 비디오 안정화 알고리즘을 제안한다. 본 방법을 세 가지 지표인 Stability score, Distortion value, Cropping ratio에 대해 평가한 결과, IMU 센서를 효과적으로 활용할 때 흐름 정확도(flow inaccuracy)에 대한 강인성이 더 높아져 안정화가 보다 효과적으로 달성되었음을 시사한다. 특히 평가 결과 중 ‘Turn’ 범주에서는, PCA flow, neural rendering, DIFRINT를 포함한 기존의 전체 프레임 비디오 안정화 기반 방법들의 평균 결과와 비교하여 Stability score는 18% 향상되었고 Distortion value는 3% 개선되었다.

단안(monocular) 이미지를 이용한 프레임 간(frame-to-frame, F2F) 시각적 주행계(visual odometry) 추정은 누적 드리프트가 전파되어 쌓이는 문제로 인해 상당한 어려움이 있다. 본 연구는 후처리 없이 카메라 궤적의 일관성(coherence)을 고려하는 새로운 단순한 방법들을 통해, F2F 단안 시각적 주행계 추정을 위한 학습 기반 접근법을 제안한다. 제안하는 네트워크는 초기 추정과 오차 완화(error relaxation)라는 두 단계로 구성된다. 첫 번째 단계에서 네트워크는 특징을 추출하기 위해 시차(disparity) 이미지를 학습하고, 주의(attention)·회전(rotation)·이동(translation) 네트워크를 통해 인접한 두 프레임 간의 상대 카메라 자세를 예측한다. 이어서 오차 완화 단계에서는 국소 드리프트를 줄이고 동적 주행 장면에서의 일관성을 증가시키기 위한 손실함수(loss functions)를 제안한다. 또한 순차 데이터에 대응하는 데 있어 효과가 있음을 건너뛰기 순서(skip-ordering) 기법을 통해 보여준다. KITTI 벤치마크 데이터셋으로 수행한 실험에서, 제안된 네트워크는 더 높고 더 안정적인 성능으로 다른 접근법들보다 우수함을 보였다.

LiDAR 심도 보완은 희소 LiDAR 스캔으로부터 조밀한 심도 영상을 복원하는 것을 목표로 한다. 기존 방법들은 3D 장면 이해를 개선한다고 주장하지만, 3D 공간으로 직접 역투영하면 대개 물체 경계 주변에 오류가 있는 점들이 추가되어 결과적으로 하위 인식 성능이 저하된다. 핵심적으로, 이러한 방법들은 유사-LiDAR(pseudo-LiDAR) 품질을 제어하기 위한 메커니즘 없이 2D 복원에만 집중한다. 이를 해결하기 위해, 조밀한 심도 맵과 픽셀 단위 신뢰도(confidence) 맵을 함께 예측하는 새로운 심도 보완 네트워크를 제안한다. 신뢰도 맵은 유사-LiDAR 점군(pseudo-LiDAR point cloud) 생성 과정에서 신뢰할 수 없는 추정을 필터링하여 선택적 역투영을 가능하게 한다. 또한 LiDAR 반응은 장거리에서 점점 더 희소해지므로, 우리의 신뢰도 맵은 신뢰할 수 있는 장거리 추정을 우선하도록 학습한다. 이러한 학습 기반 보상 메커니즘은 센서의 한계를 완화하는 동시에 원거리 물체에 대한 탐지 성능을 향상시킨다. KITTI 3D 벤치마크에서, 우리의 유사-LiDAR로 학습된 검출기는 원시 32채널 데이터로 학습된 검출기보다 3D AP에서 14.2% 더 높은 성능을 보이며, 64채널 센서 전체와의 성능 격차를 63%까지 줄인다.

본 연구는 자른 영역을 방지하면서 해상도를 유지하고, 안정성과 왜곡의 저하를 최소화하여 증강현실(Augmented Reality) 애플리케이션을 위한 비디오의 안정성을 향상시키는, 시각적으로 유용한 이미지를 생성하는 것을 목적으로 한다. 본 연구의 초점은 실행 속도를 유지하면서 성능 개선의 균형을 맞추는 연구를 수행하는 데 있다. 이를 위해 Versatile Quaternion-based Filter 알고리즘과 광학 흐름(optical flow)을 이용하여 관성측정장치(Inertial Measurement Unit, IMU) 센서 데이터를 처리한 후, 입력 비디오의 프레임에 대해 먼저 모션 보정을 적용한다. 크롭(cropping)에 대응하기 위해 PCA-flow 기반 비디오 안정화를 추가로 수행한다. 또한 전체 프레임 비디오 생성 과정에서 발생하는 왜곡을 완화하기 위해 신경 렌더링(neural rendering)을 적용하여 안정화된 프레임의 출력을 얻는다. IMU 센서를 사용하는 경우의 예상 효과는 비디오의 안정성을 증가시키면서도 시각적 품질을 유지하는 전체 프레임 비디오의 생성이다. 본 기술은 비디오 흔들림을 교정하는 데 기여하며, 저비용으로 시각적으로 유용한 이미지를 생성할 수 있다는 장점이 있다. 따라서 본 연구는 IMU 센서를 이용한 모션 보정 이후 전체 프레임 비디오를 산출하는 새로운 하이브리드(full-frame) 비디오 안정화 알고리즘을 제안한다. 본 방법을 세 가지 지표인 Stability score, Distortion value, Cropping ratio에 대해 평가한 결과, IMU 센서를 효과적으로 활용할 때 흐름 정확도(flow inaccuracy)에 대한 강인성이 더 높아져 안정화가 보다 효과적으로 달성되었음을 시사한다. 특히 평가 결과 중 ‘Turn’ 범주에서는, PCA flow, neural rendering, DIFRINT를 포함한 기존의 전체 프레임 비디오 안정화 기반 방법들의 평균 결과와 비교하여 Stability score는 18% 향상되었고 Distortion value는 3% 개선되었다.

단안(monocular) 이미지를 이용한 프레임 간(frame-to-frame, F2F) 시각적 주행계(visual odometry) 추정은 누적 드리프트가 전파되어 쌓이는 문제로 인해 상당한 어려움이 있다. 본 연구는 후처리 없이 카메라 궤적의 일관성(coherence)을 고려하는 새로운 단순한 방법들을 통해, F2F 단안 시각적 주행계 추정을 위한 학습 기반 접근법을 제안한다. 제안하는 네트워크는 초기 추정과 오차 완화(error relaxation)라는 두 단계로 구성된다. 첫 번째 단계에서 네트워크는 특징을 추출하기 위해 시차(disparity) 이미지를 학습하고, 주의(attention)·회전(rotation)·이동(translation) 네트워크를 통해 인접한 두 프레임 간의 상대 카메라 자세를 예측한다. 이어서 오차 완화 단계에서는 국소 드리프트를 줄이고 동적 주행 장면에서의 일관성을 증가시키기 위한 손실함수(loss functions)를 제안한다. 또한 순차 데이터에 대응하는 데 있어 효과가 있음을 건너뛰기 순서(skip-ordering) 기법을 통해 보여준다. KITTI 벤치마크 데이터셋으로 수행한 실험에서, 제안된 네트워크는 더 높고 더 안정적인 성능으로 다른 접근법들보다 우수함을 보였다.

인스턴스 분할은 자율주행, 드론 제어, 스포츠 분석 등 다양한 컴퓨터 비전 분야에서 주목받고 있다. 최근에는 많은 성공적인 모델들이 개발되었으며, 이는 정확도 중심과 속도 중심의 두 범주로 분류할 수 있다. 이 과제의 실시간 적용을 위해서는 정확도와 추론 시간이 모두 중요하다. 그러나 이러한 모델들은 서로 다른 하드웨어에서 측정된 추론 시간만을 제시하고 있어, 비교가 어렵다. 본 연구는 고정된 실험 환경에서 추론 시간에 초점을 맞춰, 최신 인스턴스 분할 모델들의 성능을 평가하고 비교한 최초의 연구이다. 정확한 비교를 위해서는 테스트 하드웨어와 환경이 동일해야 하므로, 정량적 및 정성적 분석을 위해 고정된 하드웨어 환경에서 모델들의 정확도와 속도를 제시한다. 속도 중심 모델은 고성능 GPU에서 실시간으로 동작하지만, 계산 성능이 충분하지 않은 경우 속도와 정확도 간에는 상충 관계가 존재한다. 실험 결과에 따르면 실시간 모델을 설계할 때 피처 피라미드 네트워크 구조를 고려할 수 있으며, 실시간 응용을 위해서는 속도와 정확도 간의 균형을 달성해야 한다.

최근 Mamba 모델은 시각 표현 학습에서 탁월한 성능을 보여 주었고, 그에 따라 객체 검출 및 세분화와 같은 밀집 예측(dense prediction) 과제에 관한 다양한 연구가 진행되어 왔다. 교차 스캔 모듈(Cross-Scan Module, CSM)은 비인과적(non-causal) 시각 데이터 처리에서 나타나는 방향 민감성(direction-sensitive) 문제를 해결하기 위해, 다양한 방향으로부터의 공간 정보를 통합하는 데 핵심적인 역할을 한다. Transformer에서의 패치 정규화(patch regularization)에 관한 선행 연구에 영감을 받아, 모든 입력 패치가 반드시 활용될 필요는 없으며 희소 샘플링(sparse sampling)이 보다 견고한 모델링을 향상시킬 수 있다고 가정한다. 우리는 새로운 Mamba 기반 아키텍처의 스캔 모듈에서 패치를 제거(dropping)하는 것이 가능한지에 대해 탐색한다. 구체적으로, 정해진 제거 비율(drop ratio)로 분할된 이미지 영역을 무작위로 마스킹하고, 이를 방향 인식형(direction-aware) 선택적 탐색(selective searching)을 위해 CSM에 입력한다. 우리의 구현은 기존 Dropout 방법을 그대로 모사하면서도 단순하도록 설계되었다. 실험 결과는 정량적 및 정성적으로 기존의 vanilla Mamba 프레임워크 대비 향상된 성능을 보였다. 본 연구가 특히 스캔 모듈에서의 패치 정규화(patch regularization)와 관련하여 시각 Mamba(visual Mamba)의 활용에 관한 후속 연구에 기여하기를 기대한다.

시맨틱 분할은 픽셀 간 상호의존성과 전체 이미지 맥락을 파악하는 데 필수적이며, 이를 통해 요소에 대한 정밀한 분류가 가능해진다. 본 연구는 피라미드 풀링(pyramid pooling) 프레임워크로부터 다중 스케일 특징을 통합함으로써 맥락을 효과적으로 결합하는 PSPNet 기반의 새로운 아키텍처를 제안한다. 일반적인 PSPNet 아키텍처가 저해상도 특징 맵에 대해 고정된 업샘플링을 사용하는 것과 달리, 본 접근법은 최종 결합(concatenation) 이전에 가장 큰 특징 맵을 더 작은 맵들과 결합하는 방식으로 이를 혁신적으로 처리한다. 이러한 수정은 더 많은 맥락 정보를 보존하고 로컬 및 글로벌 정보를 모두 포함하는 특징 맵을 통합하여, 정밀한 마스크 예측을 가능하게 한다. 제안된 방법의 효율성을 종합적으로 평가하기 위해 PASCAL VOC 2012 벤치마크에서 광범위한 실험을 수행하였다. 그 결과 분할 정확도에서 유의한 향상을 확인하였다. 특히, 본 방법은 mIoU 0.7419로 최고 성능을 달성하여 원래의 PSPNet 및 그 변형들 모두를 능가하였다. 복잡한 이미지를 처리하는 본 접근법의 향상된 능력은 시맨틱 분할 기술 분야에서의 중요한 진보를 시사하며, 자율주행, 의료 영상 등 픽셀 수준의 정밀 분할이 요구되는 다양한 분야에 잠재적 적용이 가능하다.

최근 수년간 3D 재구성 기법에 대한 연구가 특히 Gaussian Splatting을 활용하는 분야를 중심으로 더욱 활발해졌다. 이러한 발전을 바탕으로 다양한 방법론이 3D 장면을 편집하기 위해 개발되었다. 3D StyleGaussian 모델은 3D Gaussian Splatting을 통해 주목할 만한 효율성을 보이며 빠른 스타일 전송을 가능하게 하는 혁신적인 접근으로 인식되어 왔다. 그러나 이 모델은 장면 전체에 대해 동일한 스타일을 적용한다는 한계가 있어 편집 유연성과 활용 범위가 제한된다. 이 문제를 극복하기 위해, 우리는 마스크 생성과 위치 정합을 결합한 새로운 방법인 Selective Style Gaussian을 제안한다. 본 기법은 특정 위치에 스타일을 적용할 수 있게 하여 프레임워크를 정교화하고 3D 스타일 전송의 활용성을 확장한다. Selective Style Gaussian은 더 큰 제어와 적응성을 제공함으로써 3D 편집 응용에서의 창의성 및 사용자 경험을 실질적으로 향상시킬 것으로 기대된다.

약지도(weakly-supervised) 비디오 이상 탐지는 비디오 수준 라벨만을 사용한 학습 데이터로부터 프레임 수준의 이상을 검출하는 작업이다. 단일 백본 분기(single backbone branch)에서는 약한 라벨(weak labels)에 대한 최소한의 지도만으로 클래스 대표 특징을 탐색하기가 어렵다. 또한 실제 시나리오에서는 정상과 비정상의 경계가 모호하며 상황에 따라 달라진다. 예를 들어 동일한 달리기 동작을 보이는 사람이라 하더라도, 주변 환경이 놀이터인지 도로인지를 기준으로 이상성의 정도가 달라질 수 있다. 따라서 본 연구의 목적은 단일 분기에서 클래스 특징 간의 상대적 간격을 넓혀 차별적 특징을 추출하는 것이다. 제안하는 클래스-활성화 특징 학습(Class-Activate Feature Learning, CLAV)에서는 특징을 클래스에 따라 암묵적으로 활성화되는 가중치에 근거하여 추출하고, 이후 상대 거리 학습(relative distance learning)을 통해 그 간격을 확장한다. 더불어 복잡하고 다양한 장면에서 이상을 식별하기 위해서는 문맥(context)과 동작(motion) 간의 관계가 중요하므로, 시간적 의존성이나 동작 정보만을 활용하는 대신 주변 환경의 외관과 동작 간의 관계를 모델링하는 문맥-동작 상호연관 모듈(Context-Motion Interrelation Module, CoMo)을 제안한다. 제안 방법은 대규모의 실제 환경 데이터셋을 포함한 네 가지 벤치마크에서 SOTA 성능을 보였으며, 정성적 결과와 일반화 능력 분석을 통해 관계 정보(relational information)의 중요성을 입증한다.