비디오 확산 모델에서의 급속한 발전은 사실적인 비디오의 생성을 가능하게 하였으나, 무단 사용에 대한 우려를 불러일으키며 모델 소유권을 보호하기 위한 기법에 대한 수요를 촉진하고 있다. 기존 워터마킹 방법은 두 가지 주요 한계를 가진다. 즉, 기존의 워터마크 디코더로 인해 시간적 일관성을 간과하며, 생성된 비디오의 시각적 품질을 저하시킨다는 점이다. 이러한 문제를 해결하기 위해 잠재 비디오 확산 모델을 위한 강건한 워터마킹 방법인 Latent Video Diffusion Watermarking (LVMark)를 제안한다. 우리는 인접 프레임 간의 일관성을 학습함으로써 생성 비디오에 특화된 새로운 워터마크 디코더를 제안한다. 이는 3차원 웨이블릿(wavelet) 도메인의 저주파 성분과 비디오의 색상 특징을 결합하여, 악의적인 공격 하에서도 정확한 메시지 디코딩을 보장한다. 또한 생성된 비디오의 시각적 충실도를 유지하기 위해 잠재 디코더를 학습한다. 워터마크는 시각적 외관에 대한 영향이 최소가 되도록 중요도 기반 가중치 변조(importance-based weight modulation) 전략을 사용하여 층(layer)에 삽입한다. 우리는 확산 모델의 워터마크 디코더와 잠재 디코더 모두를 최적화함으로써 시각적 품질과 비트 정확도 간의 상충 관계를 효과적으로 균형 있게 조절한다. 실험 결과, 본 방법은 비디오 확산 모델에 보이지 않는 워터마크를 삽입하면서 왜곡(distortions) 하에서도 512비트 용량으로 강건한 디코딩 정확도를 보장함을 확인하였다.

비디오 확산 모델에서의 급속한 발전은 사실적인 비디오의 생성을 가능하게 하였으나, 무단 사용에 대한 우려를 불러일으키며 모델 소유권을 보호하기 위한 기법에 대한 수요를 촉진하고 있다. 기존 워터마킹 방법은 두 가지 주요 한계를 가진다. 즉, 기존의 워터마크 디코더로 인해 시간적 일관성을 간과하며, 생성된 비디오의 시각적 품질을 저하시킨다는 점이다. 이러한 문제를 해결하기 위해 잠재 비디오 확산 모델을 위한 강건한 워터마킹 방법인 Latent Video Diffusion Watermarking (LVMark)를 제안한다. 우리는 인접 프레임 간의 일관성을 학습함으로써 생성 비디오에 특화된 새로운 워터마크 디코더를 제안한다. 이는 3차원 웨이블릿(wavelet) 도메인의 저주파 성분과 비디오의 색상 특징을 결합하여, 악의적인 공격 하에서도 정확한 메시지 디코딩을 보장한다. 또한 생성된 비디오의 시각적 충실도를 유지하기 위해 잠재 디코더를 학습한다. 워터마크는 시각적 외관에 대한 영향이 최소가 되도록 중요도 기반 가중치 변조(importance-based weight modulation) 전략을 사용하여 층(layer)에 삽입한다. 우리는 확산 모델의 워터마크 디코더와 잠재 디코더 모두를 최적화함으로써 시각적 품질과 비트 정확도 간의 상충 관계를 효과적으로 균형 있게 조절한다. 실험 결과, 본 방법은 비디오 확산 모델에 보이지 않는 워터마크를 삽입하면서 왜곡(distortions) 하에서도 512비트 용량으로 강건한 디코딩 정확도를 보장함을 확인하였다.

우리는 음성 유도를 통한 국소화 이미지 스타일화(audo-guided localized image stylization)를 위한 새로운 프레임워크를 제안한다. 소리는 장면의 특정 맥락에 관한 정보를 제공하며, 장면의 특정 부분 또는 대상과 밀접하게 연관되어 있다. 그러나 기존의 이미지 스타일화 연구들은 이미지 또는 텍스트 입력을 사용하여 전체 이미지를 스타일화하는 데에 초점을 맞춰 왔다. 음성 입력에 따라 이미지의 특정 부분을 스타일화하는 것은 자연스러우나 도전적이다. 본 연구는 사용자가 음성 입력을 제공하여 입력 이미지에서 목표를 국소화하고, 동시에 목표 대상 또는 장면을 음성에 근거해 국소적으로 스타일화하도록 하는 프레임워크를 제안한다. 먼저 CLIP 임베딩 공간을 활용하는 오디오-비주얼 국소화 네트워크를 통해 정밀한 국소화 맵(fine localization map)을 생성한다. 이후 예측된 국소화 맵과 함께 암시적 신경 표현(implicit neural representation, INR)을 이용하여 음성 정보에 기반해 목표를 스타일화한다. INR은 제공된 음성 입력과 의미적으로 일관되도록 국소 픽셀 값을 조작한다. 실험 결과, 제안한 프레임워크는 다른 음성 유도 스타일화 방법들보다 우수한 성능을 보였다. 또한, 본 방법은 간결한 국소화 맵을 구성하고 주어진 음성 입력에 따라 목표 대상 또는 장면을 자연스럽게 조작함을 관찰하였다.

본 연구에서는 자세 정보가 필요 없고 3D 사전 지식이 필요 없는, 비정렬 멀티뷰 이미지로부터 일반화 가능한 3D 복원을 수행하도록 설계된 새로운 3D Gaussian Splatting 모델 SelfSplat을 제안한다. 이러한 설정은 정답 데이터, 학습된 기하 정보의 부재, 그리고 파인튜닝 없이 정확한 3D 복원을 달성해야 한다는 점으로 인해 본질적으로 역문제에 해당하며, 이로 인해 기존 방법들이 고품질의 결과를 얻기 어렵다. 본 모델은 명시적 3D 표현과 자기지도 방식의 깊이 및 자세 추정 기법을 효과적으로 통합함으로써 이러한 도전 과제를 해결하며, 그 결과 자세 정확도와 3D 복원 품질 모두가 상호 향상된다. 또한 뷰 간 기하 일관성을 강화하여 보다 정확하고 안정적인 3D 복원을 보장하기 위해, 매칭 인지(matching-aware) 자세 추정 네트워크와 깊이 정제(depth refinement) 모듈을 도입한다. 제안 방법의 성능을 제시하기 위해 RealEstate10K, ACID, DL3DV를 포함하는 대규모 실세계 데이터셋에서 평가를 수행하였다. SelfSplat은 외관과 기하 품질 모두에서 기존의 최첨단 방법들보다 우수한 결과를 달성하며, 동시에 강력한 교차 데이터셋 일반화 능력도 보인다. 광범위한 제거 실험(ablation studies)과 분석 또한 제안된 방법들의 효과를 검증한다. 코드와 사전학습(pretrained) 모델은 https://gynjn.github.io/selfsplat/ 에서 제공된다.

얼굴 인식 시스템은 Web 3.0 응용에서 다양한 서비스를 지원할 잠재력을 갖고 있으나, 두 가지 핵심 과제는 여전히 충분히 탐구되지 않았다. 첫째, 기존 벤치마크 데이터셋은 인구통계학적 편향을 보이며 고령의 동아시아 사용자—특히 고령의 한국인—를 충분히 대표하지 못해 공정하고 포용적인 배치에 한계를 초래한다. 둘째, 센서 잡음, 조명 변화, 동적 모션 블러는 분포 외(out-of-distribution, OOD) 왜곡을 유발하며, 그 결과 정확도 저하가 심각해지고 탈중앙화 환경에서 신뢰성을 약화시킨다. 이러한 문제를 해결하기 위해 본 연구는 70명의 한국 고령 유명인의 700개 이미지로 구성된 Korean Senior Face Benchmark를 제안하며, 대표성이 부족한 집단에 대해 보다 현실적인 평가를 가능하게 한다. 우리는 정량적으로, 최근의 최첨단 모델들이 현실적인 왜곡 조건에서 유의미한 성능 저하를 겪는다는 점을 보여주어 향상된 강인성의 필요성을 강조한다. 마지막으로, 경량의 테스트 시 적응(test-time adaptation, TTA) 전략이 재학습 없이 OOD 성능을 회복할 수 있음을 입증하며, 이는 사용자 프라이버시를 보존하면서 엣지 디바이스와 분산 인프라에 적합함을 시사한다. 실험 결과, 가장 심각한 왜곡에서 정확도가 최대 41.5%까지 향상되었고, 임베딩 공간에서 클래스 내(intra-class) 응집성과 클래스 간(inter-class) 분리성의 개선도 함께 관찰되었다. 제안된 벤치마크와 적응 파이프라인은 Web 3.0 응용에서 분산적이고 공정하며 프라이버시를 고려한 얼굴 인식 서비스를 구축하기 위한 실용적 기반을 제공한다.

로봇 수분(受粉)은 통제된 농업 환경에서 수동 노동과 집비둘기(뭉블비) 보조 방법에 대한 유망한 대안으로, 바람에 의한 수분이 부재하고 규제 제한으로 인해 상용 수분 매개체의 사용이 제한되는 상황에서 특히 그러하다. 본 연구에서는 종단면 말단(엔드이펙터)에 장착된 RGB-D 센서의 데이터를 활용하는 비전 유도 로봇 프레임워크를 제시하고 이를 검증한다. 이 프레임워크는 3D 식물 재구성, 표적 집기(grasp) 계획, 물리 기반 진동 모델링을 결합하여 정밀한 수분을 가능하게 한다. 먼저 식물을 3D로 재구성하고 이를 로봇 좌표계에 정합하여 주(主) 줄기(main stem) 따라 장애물 없는 집기 자세를 식별한다. 둘째, 이산 탄성 막대(discrete elastic rod) 모델이 작동(actuation) 파라미터와 꽃의 동역학 사이의 관계를 예측함으로써 최적의 수분 전략 선택을 안내한다. 마지막으로 소프트 그리퍼(연질 그리퍼)를 갖춘 매니퓰레이터가 줄기를 집고, 제어된 진동을 가하여 꽃가루 방출을 유도한다. 종단(end-to-end) 실험 결과 주 줄기 집기 성공률 92.5 %를 확인하였으며, 진동 파라미터에 대한 시뮬레이션 기반 최적화는 또한 본 접근의 타당성을 추가로 검증하여 로봇이 꽃을 손상시키지 않으면서 안전하고 효과적으로 수분을 수행할 수 있음을 보장한다. 우리가 아는 한, 본 연구는 비전 기반 집기와 진동 모델링을 자동화된 정밀 수분을 위해 함께 통합한 최초의 로봇 시스템이다.