시간적 행위 국소화(temporal action localization, TAL)에서 어휘 크기는 대규모 주석 데이터셋의 희소성으로 인해 제한된다. 이를 극복하기 위해 최근 연구들은 CLIP과 같은 시각-언어 모델(vision-language models, VLMs)을 통합하여 개방어휘 TAL(openvocabulary TAL, OV-TAL)을 수행한다. 그러나 광범위한 데이터셋에서 학습된 VLM의 성공에도 불구하고, 기존의 OV-TAL 방법들은 여전히 한정된 규모의 인간 라벨 TAL 데이터셋에 의존하여 행위 국소화기를 학습하며, 이로 인해 일반화 가능성이 제한된다. 본 논문에서는 라벨이 없는 YouTube 영상을 활용한 자기학습(self-training)의 확장성을 OV-TAL에서 탐구한다. 우리의 접근 방식은 두 단계로 구성된다: (1) 인간이 라벨링한 TAL 데이터셋에서 클래스 비특정(class-agnostic) 행위 국소화기를 학습하여 라벨이 없는 영상에 대한 의사 라벨(pseudo-labels)을 생성하고, (2) 그 후 대규모 의사 라벨링된 데이터셋을 사용하여 국소화기를 학습한다. 광범위한 실험을 통해, 자기학습에서 웹 스케일 비디오를 활용하면 행위 국소화기의 일반화가 유의미하게 향상됨을 확인하였다. 또한 기존 OV-TAL 평가 체계의 한계를 규명하고, 철저한 평가를 위한 새로운 벤치마크를 제안한다. 마지막으로, 새 벤치마크에서 대규모 멀티모달 모델인 Gemini-1.5의 TAL 성능을 시연한다. 코드는 https://github.com/HYUNJS/STOV-TAL 에 공개되어 있다.

본 논문에서는 잠재(latent) 공간에서 초해상도를 직접 활용함으로써 확산(diffusion) 모델을 이용한 고해상도(1K 초과) 영상 생성을 위한 새로운 프레임워크인 LSRNA를 제안한다. 기존의 확산 모델은 학습 해상도 이상으로 확장할 때 어려움을 겪으며, 그 결과 구조적 왜곡이나 콘텐츠 반복이 자주 발생한다. 기준(reference) 기반 방법은 저해상도 기준 이미지를 업샘플링하여 고해상도 생성을 유도함으로써 이러한 문제를 해결한다. 그러나 이 방법들은 중대한 한계를 가진다. 잠재 공간에서의 업샘플링은 종종 매니폴드(manifold) 일탈을 유발하여 출력 품질을 저하시킨다. 반면 RGB 공간에서의 업샘플링은 지나치게 매끈하게 뭉개진 결과를 생성하는 경향이 있다. 이러한 한계를 극복하기 위해 LSRNA는 매니폴드 정렬을 위한 잠재 공간 초해상도(Latent space Super-Resolution, LSR)와 고주파 디테일을 향상시키기 위한 영역 단위 노이즈 추가(Region-wise Noise Addition, RNA)를 결합한다. 광범위한 실험 결과, LSRNA를 통합한 방법은 다양한 해상도와 지표 전반에서 기존의 최신 기준 기반 방법을 성능이 우수하게 능가함을 보여주었으며, 동시에 디테일과 선명도를 보존하는 데 있어 잠재 공간 업샘플링의 핵심적 역할을 확인하였다. 코드는 https://github.com/3587jjh/LSRNA 에서 제공될 예정이다.

중심선 추적은 혈관 조도(vessel tortuosity)의 분절 분석을 혈관조영술 데이터에서 수행하는 데 유용하다. 그러나 매우 심하게 꼬인( highly tortuous) 동맥은 동맥에 대한 과도한 분할(over-segmentation)로 인해 여러 개의 중심선을 생성할 수 있으며, 이는 최단 경로(shortest path-finding) 탐색 알고리즘을 사용할 때 부정확한 경로 탐색 결과를 초래한다. 본 연구에서는 3차원(3D) 시간비행(time-of-flight) 자기공명 혈관조영술(TOF MRA) 데이터로부터 추출한 내경동맥(internal carotid arteries, ICAs)을 사용하여 새로운 경로 탐색 방법의 유효성을 입증하고자 하였다. 제안된 방법은 이웃 탐색(neighborhood searches)의 순서를 무작위로 다르게 설정한 일련의 깊이우선탐색(depth-first searches, DFS)들에 기반하며, ICAs에서 두 종점(endpoint)을 적절히 연결하는 경로를 생성한다. 이 방법은 (a) 이웃 탐색의 순차적 순서를 이용한 DFS, (b) 다익스트라(Dijkstra) 알고리즘, (c) A* 알고리즘의 세 가지 기존 방법과 비교하였다. 경로 탐색 정확도는 성공적으로 경로를 찾은 횟수를 세어 평가하였다. 그 결과 이 방법은 95.8%의 정확도를 보였으며, 세 가지 기존 방법을 능가하였다. 결론적으로, 제안된 방법은 특히 매우 조도가 심한 동맥에서 과분할로 인해 하나 이상의 중심선이 발생하는 경우에 있어서, 기존 방법들보다 경로 탐색 절차로서 더 적합한 것으로 나타났다.

뇌내 혈관 분절에 대한 정량적 분석은 일반적으로 혈관의 중심선(centerline)을 식별하는 것을 필요로 하며, 경로 탐색(path-finding) 알고리즘을 사용하면 혈관 분절의 중심선을 자동으로 검출할 수 있다. 본 연구에서는 혈관 라벨링을 위한 경로 탐색 알고리즘의 성능을 비교하였다. 공개적으로 이용 가능한 데이터셋의 3차원(3D) 시간비행(time-of-flight) 자기공명혈관조영술(MRA) 영상을 본 연구에 고려하였다. 각 혈관 분절의 양 끝점(endpoint)에 대해 수동 주석을 수행한 후, 세 가지 경로 탐색 방법을 비교하였다: (방법 1) 깊이우선탐색(depth-first search) 알고리즘, (방법 2) 다익스트라(Dijkstra)의 알고리즘, (방법 3) A* 알고리즘. 각 방법의 정확한 경로를 찾는 비율을 정량화하여 윌리스 동맥( circle of Willis )의 각 분절에서 세 방법 간에 비교하였다. 840개의 혈관 분절 분석에서, 방법 2는 정확한 경로를 찾는 최고 정확도(97.1%)를 보였으며, 방법 1과 3은 각각 83.5%와 96.1%의 정확도를 보였다. 방법 1에서는 AComm 동맥이 매우 부정확하게 식별되었고, 정확도는 43.2%였다. 방법 2의 잘못된 경로는 R-ICA, L-ICA, 및 R-PCA-P1 분절에서 관찰되었다. 다익스트라와 A* 알고리즘은 경로 탐색에서 유사한 정확도를 보였고, 윌리스 동맥 분절에서의 경로 탐색 속도 또한 비교 가능하였다.

변분 오토인코더(VAE)를 통해 압축된 잠재 공간을 구성하는 것은 효율적인 3D 확산 모델을 위한 핵심이다. 본 논문에서는 3D 형상을 COmpact한 1D 잠재 벡터의 집합으로 인코딩하면서도 품질을 저하시키지 않는 COD-VAE를 제안한다. COD-VAE는 압축 및 디코딩 효율을 개선하기 위한 2단계 오토인코더 방식을 도입한다. 첫째, 인코더 블록은 중간 점 패치(intermediate point patches)를 통해 점 구름(point clouds)을 점진적으로 압축하여 컴팩트한 잠재 벡터로 만든다. 둘째, 트리플레인(triplane) 기반 디코더는 신경 필드를 직접 디코딩하는 대신 잠재 벡터로부터 조밀한 트리플레인을 재구성함으로써 신경 필드 디코딩의 계산 부담을 크게 줄인다. 마지막으로, 불확실성 유도 토큰 가지치기(uncertainty-guided token pruning)를 제안하며, 이는 단순한 영역에서는 연산을 생략함으로써 자원을 적응적으로 배분하고 디코더 효율을 향상시킨다. 실험 결과는 COD-VAE가 기준(baseline) 대비 16배 압축을 달성하면서도 품질을 유지함을 보여준다. 이는 생성 과정에서 20.8배의 속도 향상을 가능하게 하며, 고품질 재구성과 생성에 많은 수의 잠재 벡터가 필수 조건이 아님을 시사한다. 코드는 https://github.com/join16/COD-VAE 에서 제공된다.

본 논문은 단일 이미지로부터 3D 키포인트를 정확하게 예측하는 비지도 단안(monocular) 3D 키포인트 추정 프레임워크인 KeyDiff3D를 소개한다. 기존 방법들은 수동 주석 또는 보정된 다중 시점(calibrated multi-view) 이미지에 의존하는데, 이는 모두 수집 비용이 높다. 이에 비해 본 방법은 단일 시점 이미지들의 집합만을 사용하여 단안 3D 키포인트 추정을 가능하게 한다. 이를 위해, 우리는 사전(pretrained)된 다중 시점 확산(diffusion) 모델에 내장된 강력한 기하학적 사전지식을 활용한다. 본 프레임워크에서 해당 모델은 단일 이미지로부터 다중 시점 이미지를 생성하며, 이는 우리 모델에 3D 기하학적 단서를 제공하는 감독 신호(supervision signal)로 사용된다. 또한 우리는 확산 모델을 강력한 2D 다중 시점 특징 추출기로 활용하고, 그 중간 표현(intermediate representations)으로부터 3D 특징 볼륨(feature volumes)을 구성한다. 이 과정은 확산 모델이 학습한 암묵적(implicit) 3D 사전지식을 명시적(explicit) 3D 특징으로 변환한다. 정확한 키포인트 추정에 더해, 본 논문은 확산 모델이 생성한 3D 객체를 조작할 수 있게 하는 파이프라인도 함께 제안한다. Human3.6M, Stanford Dogs를 포함한 다양한 양상과 데이터셋에 대한 실험 결과, 그리고 여러 in-the-wild 및 out-of-domain 데이터셋에서, 본 방법이 정확성, 일반화 성능 측면에서 효과적이며 단일 이미지로부터 확산 모델이 생성한 3D 객체의 조작을 가능하게 함을 보여준다.

객체 합성(object compositing)은 다양한 시각 장면의 이미지에서 객체를 배치하고 조화롭게 통합하는 작업으로, 생성 모델의 등장과 함께 컴퓨터 비전 분야에서 중요한 과제로 부상하였다. 그러나 기존 데이터셋은 현실 세계의 시나리오를 포괄적으로 탐구하기에 필요한 다양성과 규모가 부족하다. 본 연구에서는 ORIDa(Object-centric Real-world Image Composition Dataset)를 소개한다. ORIDa는 30,000편이 넘는 실제 촬영 이미지로 구성된 대규모 데이터셋이며, 서로 다른 200개의 고유 객체를 포함하고 각 객체는 다양한 위치와 장면에서 제시된다. ORIDa는 두 가지 유형의 데이터를 제공한다: 사실-반사실(factual-counterfactual) 세트와 사실-단독(factual-only) 장면이다. 사실-반사실 세트는 한 장면 내에서 객체가 서로 다른 위치에 놓인 4장의 사실 이미지와, 해당 객체 없이 장면의 단일 반사실(또는 배경) 이미지를 포함하며, 그 결과 장면당 5장의 이미지가 구성된다. 사실-단독 장면은 특정 문맥에서 객체를 포함하는 단일 이미지로 이루어져, 환경의 다양성을 확장한다. 우리가 아는 한, ORIDa는 실제 세계 이미지 합성을 위한 규모와 복잡성을 갖춘 최초의 공개 이용 가능 데이터셋이다. 광범위한 분석과 실험은 객체 합성 연구를 한층 더 진전시키기 위한 자원으로서 ORIDa의 가치를 보여준다.

시간적 행위 국소화(temporal action localization, TAL)에서 어휘 크기는 대규모 주석 데이터셋의 희소성으로 인해 제한된다. 이를 극복하기 위해 최근 연구들은 CLIP과 같은 시각-언어 모델(vision-language models, VLMs)을 통합하여 개방어휘 TAL(openvocabulary TAL, OV-TAL)을 수행한다. 그러나 광범위한 데이터셋에서 학습된 VLM의 성공에도 불구하고, 기존의 OV-TAL 방법들은 여전히 한정된 규모의 인간 라벨 TAL 데이터셋에 의존하여 행위 국소화기를 학습하며, 이로 인해 일반화 가능성이 제한된다. 본 논문에서는 라벨이 없는 YouTube 영상을 활용한 자기학습(self-training)의 확장성을 OV-TAL에서 탐구한다. 우리의 접근 방식은 두 단계로 구성된다: (1) 인간이 라벨링한 TAL 데이터셋에서 클래스 비특정(class-agnostic) 행위 국소화기를 학습하여 라벨이 없는 영상에 대한 의사 라벨(pseudo-labels)을 생성하고, (2) 그 후 대규모 의사 라벨링된 데이터셋을 사용하여 국소화기를 학습한다. 광범위한 실험을 통해, 자기학습에서 웹 스케일 비디오를 활용하면 행위 국소화기의 일반화가 유의미하게 향상됨을 확인하였다. 또한 기존 OV-TAL 평가 체계의 한계를 규명하고, 철저한 평가를 위한 새로운 벤치마크를 제안한다. 마지막으로, 새 벤치마크에서 대규모 멀티모달 모델인 Gemini-1.5의 TAL 성능을 시연한다. 코드는 https://github.com/HYUNJS/STOV-TAL 에 공개되어 있다.

본 논문에서는 잠재(latent) 공간에서 초해상도를 직접 활용함으로써 확산(diffusion) 모델을 이용한 고해상도(1K 초과) 영상 생성을 위한 새로운 프레임워크인 LSRNA를 제안한다. 기존의 확산 모델은 학습 해상도 이상으로 확장할 때 어려움을 겪으며, 그 결과 구조적 왜곡이나 콘텐츠 반복이 자주 발생한다. 기준(reference) 기반 방법은 저해상도 기준 이미지를 업샘플링하여 고해상도 생성을 유도함으로써 이러한 문제를 해결한다. 그러나 이 방법들은 중대한 한계를 가진다. 잠재 공간에서의 업샘플링은 종종 매니폴드(manifold) 일탈을 유발하여 출력 품질을 저하시킨다. 반면 RGB 공간에서의 업샘플링은 지나치게 매끈하게 뭉개진 결과를 생성하는 경향이 있다. 이러한 한계를 극복하기 위해 LSRNA는 매니폴드 정렬을 위한 잠재 공간 초해상도(Latent space Super-Resolution, LSR)와 고주파 디테일을 향상시키기 위한 영역 단위 노이즈 추가(Region-wise Noise Addition, RNA)를 결합한다. 광범위한 실험 결과, LSRNA를 통합한 방법은 다양한 해상도와 지표 전반에서 기존의 최신 기준 기반 방법을 성능이 우수하게 능가함을 보여주었으며, 동시에 디테일과 선명도를 보존하는 데 있어 잠재 공간 업샘플링의 핵심적 역할을 확인하였다. 코드는 https://github.com/3587jjh/LSRNA 에서 제공될 예정이다.

중심선 추적은 혈관 조도(vessel tortuosity)의 분절 분석을 혈관조영술 데이터에서 수행하는 데 유용하다. 그러나 매우 심하게 꼬인( highly tortuous) 동맥은 동맥에 대한 과도한 분할(over-segmentation)로 인해 여러 개의 중심선을 생성할 수 있으며, 이는 최단 경로(shortest path-finding) 탐색 알고리즘을 사용할 때 부정확한 경로 탐색 결과를 초래한다. 본 연구에서는 3차원(3D) 시간비행(time-of-flight) 자기공명 혈관조영술(TOF MRA) 데이터로부터 추출한 내경동맥(internal carotid arteries, ICAs)을 사용하여 새로운 경로 탐색 방법의 유효성을 입증하고자 하였다. 제안된 방법은 이웃 탐색(neighborhood searches)의 순서를 무작위로 다르게 설정한 일련의 깊이우선탐색(depth-first searches, DFS)들에 기반하며, ICAs에서 두 종점(endpoint)을 적절히 연결하는 경로를 생성한다. 이 방법은 (a) 이웃 탐색의 순차적 순서를 이용한 DFS, (b) 다익스트라(Dijkstra) 알고리즘, (c) A* 알고리즘의 세 가지 기존 방법과 비교하였다. 경로 탐색 정확도는 성공적으로 경로를 찾은 횟수를 세어 평가하였다. 그 결과 이 방법은 95.8%의 정확도를 보였으며, 세 가지 기존 방법을 능가하였다. 결론적으로, 제안된 방법은 특히 매우 조도가 심한 동맥에서 과분할로 인해 하나 이상의 중심선이 발생하는 경우에 있어서, 기존 방법들보다 경로 탐색 절차로서 더 적합한 것으로 나타났다.

뇌내 혈관 분절에 대한 정량적 분석은 일반적으로 혈관의 중심선(centerline)을 식별하는 것을 필요로 하며, 경로 탐색(path-finding) 알고리즘을 사용하면 혈관 분절의 중심선을 자동으로 검출할 수 있다. 본 연구에서는 혈관 라벨링을 위한 경로 탐색 알고리즘의 성능을 비교하였다. 공개적으로 이용 가능한 데이터셋의 3차원(3D) 시간비행(time-of-flight) 자기공명혈관조영술(MRA) 영상을 본 연구에 고려하였다. 각 혈관 분절의 양 끝점(endpoint)에 대해 수동 주석을 수행한 후, 세 가지 경로 탐색 방법을 비교하였다: (방법 1) 깊이우선탐색(depth-first search) 알고리즘, (방법 2) 다익스트라(Dijkstra)의 알고리즘, (방법 3) A* 알고리즘. 각 방법의 정확한 경로를 찾는 비율을 정량화하여 윌리스 동맥( circle of Willis )의 각 분절에서 세 방법 간에 비교하였다. 840개의 혈관 분절 분석에서, 방법 2는 정확한 경로를 찾는 최고 정확도(97.1%)를 보였으며, 방법 1과 3은 각각 83.5%와 96.1%의 정확도를 보였다. 방법 1에서는 AComm 동맥이 매우 부정확하게 식별되었고, 정확도는 43.2%였다. 방법 2의 잘못된 경로는 R-ICA, L-ICA, 및 R-PCA-P1 분절에서 관찰되었다. 다익스트라와 A* 알고리즘은 경로 탐색에서 유사한 정확도를 보였고, 윌리스 동맥 분절에서의 경로 탐색 속도 또한 비교 가능하였다.