본 연구는 CAT-PRSR(CAT-PRSR)로 명명된 신뢰도 인지(confidence-aware) 트랜스포머 기반 초해상도(super-resolution) 프레임워크를 개발하고 평가하여 파노라마 치과 방사선 사진에서 화질과 진단 신뢰성을 향상시키는 것을 목표로 하였다. 총 1078장의 익명화된 파노라마 방사선 영상을 후향적으로 수집하였으며(훈련 950장, 테스트 128장), 트랜스포머 기반 SR 백본과 신뢰도 인지 학습 전략을 통합한 CAT-PRSR 프레임워크를 개발하였다. 본 모델은 픽셀 단위 불확실성 추정(pixel-wise uncertainty estimation)을 통해 적응적 학습을 가능하게 하여 진단적으로 관련 있는 영역에 집중하되, 잡음에 민감한 영역에서의 과도한 선명화(over-enhancement)를 최소화하면서 고해상도 출력을 생성한다. 모델 성능은 6개의 정량 지표—피크 신호대잡음비(peak signal-to-noise ratio, PSNR), 구조적 유사도 지수(structural similarity index, SSIM), 공간 상관 계수(spatial correlation coefficient, SCC), 자연 영상 품질 평가(natural image quality evaluator, NIQE), 학습된 지각 이미지 패치 유사도(learned perceptual image patch similarity, LPIPS), 프레셋 이니셉션 거리(Fréchet inception distance, FID)—및 평균 의견 점수(mean opinion score, MOS) 평가를 통해 검증하였다. 정량 성능에 기반하여 4배, 6배, 8배 확대에서 비교를 위해 4개의 대표적인 최신(state-of-the-art) SR 모델을 선정하였다. CAT-PRSR은 모든 지표와 확대 수준에서 우수한 성능을 보였다. 가장 높은 PSNR(4×에서 36.41, 6×에서 36.19, 8×에서 33.73)을 달성했으며, 최저 FID(각각 1.77, 9.29, 2.09)도 나타내어 모든 비교 모델을 능가하였다. MOS 평가에서 CAT-PRSR은 P > .05 수준에서 진단 유용성 점수가 기준(ground truth) 영상과 통계적으로 유사하게 유지된 반면, 다른 모델들은 P < .001 수준에서 유의한 저하를 보였다. 제안된 CAT-PRSR 프레임워크는 픽셀 수준의 충실도와 향상된 진단 신뢰성을 통합함으로써 파노라마 방사선 영상의 해상도를 향상시킬 잠재력을 보여주었다. 또한 CAT-PRSR 모델은 저해상도 조건에서 획득된 파노라마 방사선 사진의 진단 신뢰성을 향상시킬 수 있으며, 보다 정확한 임상적 의사결정을 지원하고 AI 기반 치과 연구를 위한 신뢰할 수 있는 영상 자원으로 활용될 수 있다.

대부분의 기존 PAN 샤프닝(pan-sharpening) 방법은 팬크로마틱(PAN) 영상과 다중분광(MS) 밴드 간의 완벽한 공정등록(co-registration)을 가정한다. 그러나 실제 항공 및 위성 영상 획득에서는 PAN–MS 간 불정합뿐 아니라 MS 채널들 간의 밴드 간 불정합도 빈번히 발생하며, 이로 인해 융합 품질이 크게 저하된다. 본 연구에서는 PAN 및 MS 정보를 융합하는 동시에 밴드 간 시프트를 함께 보정하는 강건한 PAN 샤프닝 프레임워크 RPM을 제안한다. 핵심 아이디어는 shift-to-align 학습 전략으로, 학습 과정에서 밴드별 임의 시프트를 도입하여 PAN 영상에 의해 유도되는 정렬 불변(alignment-invariant) 분광 융합을 네트워크가 학습하도록 한다. 명시적으로 정렬된 정답(ground truth)을 요구하지 않으면서도, RPM은 분광 충실도, 공간적 일관성 및 밴드 간 불정합에 대한 강건성을 강제한다. 여러 벤치마크 데이터셋에 대한 광범위한 실험 결과, RPM은 일관되게 최첨단 성능을 달성함을 보여준다. WV3 데이터셋에서는 최근 방법에 비해 ERGAS를 최대 2–3% 감소시키고 SAM은 약 1% 낮추며, PSNR, SCC, HQNR 및 Q8 점수는 0.1–0.2% 향상시킨다. 또한 RPM은 영상 패치당 밀리초(ms) 범위에서 추론을 수행하며, 이는 일반적으로 수 초가 소요되는 기존 접근법에 비해 1000배 이상 빠르다.

합성개구레이더(SAR) 영상은 군사 감시, 환경 모니터링, 재난 대응 등 다양한 응용 분야에서 점점 더 중요해지고 있다. 그러나 SAR 영상은 스펙클 노이즈와 구조적 왜곡과 같은 독특한 영상 특성으로 인해 비전문가에게는 해석이 어렵다. 또한 SAR 영상의 고유한 특성과 시간적 비동일성은 종종 페어링된 SAR 및 전자광학(EO) 영상 사이의 국소적인 불일치를 초래한다. 이러한 문제를 완화하기 위해, 우리는 SAR-to-EO 번역을 위한 불확실성 인지 프레임워크인 U-SET을 제안하며, 픽셀 단위의 불확실성을 명시적으로 모델링하여 국소적으로 적응적인 학습을 가능하게 한다. 딥러닝 모델의 불확실성 추정 능력을 활용함으로써, U-SET은 학습 과정에서 구조적으로 복잡하고 모호한 영역에 효과적으로 우선순위를 부여한다. 새로 구축한 KOMPSAT 데이터셋에 대한 포괄적인 평가는 U-SET이 최신 성능을 달성하며, 정량 및 정성 평가 모두에서 6가지 영상 품질 지표에 걸쳐 기존 방법을 능가함을 보여준다.

위성 합성 개구 레이더(SAR) 영상은 날씨와 시간 조건에 관계없이 획득할 수 있어 매우 유용하다. 그러나 SAR 영상은 치명적인 잡음과 더불어 맥락 정보가 상대적으로 부족하여, 해석이 어렵고 덜 직관적이다. 따라서 SAR을 전기광학(Electro-Optical, EO) 영상으로 번역하여 더 쉽게 해석할 수 있게 하는 연구가 매우 요구된다. 본 논문에서는 정렬 불일치에 강인한 손실함수를 포함한, 새로운 거친-부터-정밀(coarse-to-fine) 맥락 인지형 SAR-EO 영상 번역(CFCA-SET) 프레임워크를 제안한다. 또한 SAR-EO 영상의 정렬이 어긋난 쌍(misaligned pairs)에 대해 미스얼라인먼트에 강인한(loss) 손실을 설계한다. SAR-근적외선(Near-Infrared, NIR) 번역에 대한 보조 학습을 통해, CFCA-SET은 2단계 학습으로 구성된다: (i) 저해상도 SAR-EO 번역은 국소 자기주의(local self-attention) 모듈을 통해 SAR 잡음을 감소시키는 방식으로 거친 단계에서 학습하고, (ii) 그 결과 출력을 미세 단계에서 안내(guidance)로 활용하여 고해상도의 SAR 컬러라이제이션을 생성한다. SAR-NIR 번역에 대한 제안된 보조 학습은, 맥락 인지 방식으로 다양한 SAR 객체의 구별 가능한 특성을 더 적은 혼동으로 학습하도록 CFCA-SET을 성공적으로 이끈다. SAR과 EO 영상 사이에 불가피하게 발생하는 정렬 불일치 문제를 다루기 위해, 우리는 새롭게 정렬 불일치에 강인한 손실함수를 설계한다. 광범위한 실험 결과는, CFCA-SET이 아홉 가지 영상 품질 지표 측면에서 다른 방법들에 비해 더 알아볼 수 있고 이해하기 쉬운 EO 유사 영상을 생성함을 보여준다. CFCA-SET은 두 개의 데이터셋(QXS 및 CASET)에서 최신 기술 수준(state-of-the-art) 방법을 다음과 같은 향상으로 능가한다: PSNR(3.6%, 29%), ERGAS(7.4%, 30%), SSIM(15%, 15%), SAM(21%, 38%), Ds(16%, 13%), QNR(1.5%, 3.1%), CHD(18%, 12%), LPIPS(4.2%, 8%), FID(9.0%, 33%).

본 연구는 CAT-PRSR(CAT-PRSR)로 명명된 신뢰도 인지(confidence-aware) 트랜스포머 기반 초해상도(super-resolution) 프레임워크를 개발하고 평가하여 파노라마 치과 방사선 사진에서 화질과 진단 신뢰성을 향상시키는 것을 목표로 하였다. 총 1078장의 익명화된 파노라마 방사선 영상을 후향적으로 수집하였으며(훈련 950장, 테스트 128장), 트랜스포머 기반 SR 백본과 신뢰도 인지 학습 전략을 통합한 CAT-PRSR 프레임워크를 개발하였다. 본 모델은 픽셀 단위 불확실성 추정(pixel-wise uncertainty estimation)을 통해 적응적 학습을 가능하게 하여 진단적으로 관련 있는 영역에 집중하되, 잡음에 민감한 영역에서의 과도한 선명화(over-enhancement)를 최소화하면서 고해상도 출력을 생성한다. 모델 성능은 6개의 정량 지표—피크 신호대잡음비(peak signal-to-noise ratio, PSNR), 구조적 유사도 지수(structural similarity index, SSIM), 공간 상관 계수(spatial correlation coefficient, SCC), 자연 영상 품질 평가(natural image quality evaluator, NIQE), 학습된 지각 이미지 패치 유사도(learned perceptual image patch similarity, LPIPS), 프레셋 이니셉션 거리(Fréchet inception distance, FID)—및 평균 의견 점수(mean opinion score, MOS) 평가를 통해 검증하였다. 정량 성능에 기반하여 4배, 6배, 8배 확대에서 비교를 위해 4개의 대표적인 최신(state-of-the-art) SR 모델을 선정하였다. CAT-PRSR은 모든 지표와 확대 수준에서 우수한 성능을 보였다. 가장 높은 PSNR(4×에서 36.41, 6×에서 36.19, 8×에서 33.73)을 달성했으며, 최저 FID(각각 1.77, 9.29, 2.09)도 나타내어 모든 비교 모델을 능가하였다. MOS 평가에서 CAT-PRSR은 P > .05 수준에서 진단 유용성 점수가 기준(ground truth) 영상과 통계적으로 유사하게 유지된 반면, 다른 모델들은 P < .001 수준에서 유의한 저하를 보였다. 제안된 CAT-PRSR 프레임워크는 픽셀 수준의 충실도와 향상된 진단 신뢰성을 통합함으로써 파노라마 방사선 영상의 해상도를 향상시킬 잠재력을 보여주었다. 또한 CAT-PRSR 모델은 저해상도 조건에서 획득된 파노라마 방사선 사진의 진단 신뢰성을 향상시킬 수 있으며, 보다 정확한 임상적 의사결정을 지원하고 AI 기반 치과 연구를 위한 신뢰할 수 있는 영상 자원으로 활용될 수 있다.

대부분의 기존 PAN 샤프닝(pan-sharpening) 방법은 팬크로마틱(PAN) 영상과 다중분광(MS) 밴드 간의 완벽한 공정등록(co-registration)을 가정한다. 그러나 실제 항공 및 위성 영상 획득에서는 PAN–MS 간 불정합뿐 아니라 MS 채널들 간의 밴드 간 불정합도 빈번히 발생하며, 이로 인해 융합 품질이 크게 저하된다. 본 연구에서는 PAN 및 MS 정보를 융합하는 동시에 밴드 간 시프트를 함께 보정하는 강건한 PAN 샤프닝 프레임워크 RPM을 제안한다. 핵심 아이디어는 shift-to-align 학습 전략으로, 학습 과정에서 밴드별 임의 시프트를 도입하여 PAN 영상에 의해 유도되는 정렬 불변(alignment-invariant) 분광 융합을 네트워크가 학습하도록 한다. 명시적으로 정렬된 정답(ground truth)을 요구하지 않으면서도, RPM은 분광 충실도, 공간적 일관성 및 밴드 간 불정합에 대한 강건성을 강제한다. 여러 벤치마크 데이터셋에 대한 광범위한 실험 결과, RPM은 일관되게 최첨단 성능을 달성함을 보여준다. WV3 데이터셋에서는 최근 방법에 비해 ERGAS를 최대 2–3% 감소시키고 SAM은 약 1% 낮추며, PSNR, SCC, HQNR 및 Q8 점수는 0.1–0.2% 향상시킨다. 또한 RPM은 영상 패치당 밀리초(ms) 범위에서 추론을 수행하며, 이는 일반적으로 수 초가 소요되는 기존 접근법에 비해 1000배 이상 빠르다.

합성개구레이더(SAR) 영상은 군사 감시, 환경 모니터링, 재난 대응 등 다양한 응용 분야에서 점점 더 중요해지고 있다. 그러나 SAR 영상은 스펙클 노이즈와 구조적 왜곡과 같은 독특한 영상 특성으로 인해 비전문가에게는 해석이 어렵다. 또한 SAR 영상의 고유한 특성과 시간적 비동일성은 종종 페어링된 SAR 및 전자광학(EO) 영상 사이의 국소적인 불일치를 초래한다. 이러한 문제를 완화하기 위해, 우리는 SAR-to-EO 번역을 위한 불확실성 인지 프레임워크인 U-SET을 제안하며, 픽셀 단위의 불확실성을 명시적으로 모델링하여 국소적으로 적응적인 학습을 가능하게 한다. 딥러닝 모델의 불확실성 추정 능력을 활용함으로써, U-SET은 학습 과정에서 구조적으로 복잡하고 모호한 영역에 효과적으로 우선순위를 부여한다. 새로 구축한 KOMPSAT 데이터셋에 대한 포괄적인 평가는 U-SET이 최신 성능을 달성하며, 정량 및 정성 평가 모두에서 6가지 영상 품질 지표에 걸쳐 기존 방법을 능가함을 보여준다.

위성 합성 개구 레이더(SAR) 영상은 날씨와 시간 조건에 관계없이 획득할 수 있어 매우 유용하다. 그러나 SAR 영상은 치명적인 잡음과 더불어 맥락 정보가 상대적으로 부족하여, 해석이 어렵고 덜 직관적이다. 따라서 SAR을 전기광학(Electro-Optical, EO) 영상으로 번역하여 더 쉽게 해석할 수 있게 하는 연구가 매우 요구된다. 본 논문에서는 정렬 불일치에 강인한 손실함수를 포함한, 새로운 거친-부터-정밀(coarse-to-fine) 맥락 인지형 SAR-EO 영상 번역(CFCA-SET) 프레임워크를 제안한다. 또한 SAR-EO 영상의 정렬이 어긋난 쌍(misaligned pairs)에 대해 미스얼라인먼트에 강인한(loss) 손실을 설계한다. SAR-근적외선(Near-Infrared, NIR) 번역에 대한 보조 학습을 통해, CFCA-SET은 2단계 학습으로 구성된다: (i) 저해상도 SAR-EO 번역은 국소 자기주의(local self-attention) 모듈을 통해 SAR 잡음을 감소시키는 방식으로 거친 단계에서 학습하고, (ii) 그 결과 출력을 미세 단계에서 안내(guidance)로 활용하여 고해상도의 SAR 컬러라이제이션을 생성한다. SAR-NIR 번역에 대한 제안된 보조 학습은, 맥락 인지 방식으로 다양한 SAR 객체의 구별 가능한 특성을 더 적은 혼동으로 학습하도록 CFCA-SET을 성공적으로 이끈다. SAR과 EO 영상 사이에 불가피하게 발생하는 정렬 불일치 문제를 다루기 위해, 우리는 새롭게 정렬 불일치에 강인한 손실함수를 설계한다. 광범위한 실험 결과는, CFCA-SET이 아홉 가지 영상 품질 지표 측면에서 다른 방법들에 비해 더 알아볼 수 있고 이해하기 쉬운 EO 유사 영상을 생성함을 보여준다. CFCA-SET은 두 개의 데이터셋(QXS 및 CASET)에서 최신 기술 수준(state-of-the-art) 방법을 다음과 같은 향상으로 능가한다: PSNR(3.6%, 29%), ERGAS(7.4%, 30%), SSIM(15%, 15%), SAM(21%, 38%), Ds(16%, 13%), QNR(1.5%, 3.1%), CHD(18%, 12%), LPIPS(4.2%, 8%), FID(9.0%, 33%).

최근 합성개구레이더(SAR) 영상의 분석 및 활용은 감시, 군사 작전, 환경 모니터링에서 매우 중요해졌다. SAR 영상에서 흔히 나타나는 문제는 반점 잡음(speckle noise)의 존재로, 이는 영상의 해석 가능성을 저해할 수 있다. SAR 영상을 더 명확하게 하기 위해, 본 논문은 SGCL-SET라 불리는 새로운 SAR-대-전기광학(EO) 영상 변환(SET) 네트워크를 제안한다. 이 네트워크는 우선 안정적인 변환을 위해 EO 객체 레이블 정보를 통합한다. 우리는 사전학습된 분할(segmentation) 네트워크를 사용하여 분할 영역에 해당하는 레이블을 SET 학습에 제공한다. 우리의 SGCL-SET는 분할 및 레이블 정보를 이용하여 혼란스러운 문맥 영역에 대한 변환을 효과적으로 학습하도록 학습될 수 있다. KOMPSAT 데이터셋에 대한 종합적인 실험을 통해, SGCL-SET는 아홉 가지 영상 품질 평가 지표 전반에서 모든 기존 방법을 큰 폭으로 능가함을 확인하였다.

텍스트-이미지 확산 모델은 교차-주의(cross-attention)를 활용하여 텍스트 정보를 시각 잠재 공간에 통합하지만, 텍스트 임베딩에서 잠재 특성으로의 변환 과정은 대체로 충분히 탐구되지 않았다. 우리는 단일값 분해(singular value decomposition)를 통한 분광(spectral) 분석으로 교차-주의 계층 내 출력값(output-value, OV) 회로의 기전적(mechanistic) 분석을 제시한다. 우리의 분석은 의미 개념이 교차-주의 head들 전반에 걸친 OV 회로의 특이벡터(singular vectors)가 생성하는 저차원 부분공간에서 부호화됨을 보여준다. 이를 검증하기 위해 확산 과정에서 개념 관련 구성요소에 개입(intervention)하여, 확인된 분광 성분에 대한 개입이 개념 변화를 유발함을 입증한다. 또한 고립된 부분공간의 시각적 출력과 텍스트 임베딩 공간의 정렬(alignment)을 살펴 해당 결과를 추가로 검증한다. 이러한 기전적 이해를 바탕으로, 기존 방법과 필적하는 성능을 유지하면서 목표하는 개념 제거를 달성하려면 오직 이러한 분광 성분을 무효화(nullifying)해야 함을 보이며, 동시에 해석 가능성(interpretability)을 제공한다. 본 연구는 교차-주의 계층이 OV 회로의 분광 부분공간에서 의미 개념을 부호화하는 방식을 규명함으로써 기전적 통찰을 제공하고, 재학습 없이도 정밀한 개념 조작을 가능하게 한다.

전파 기반 비디오 편집(Propagation-based video editing)은 하나의 편집된 프레임을 이후 프레임들로 전파하면서, 동작과 구조 등 원래의 문맥을 유지함으로써 사용자가 정밀하게 제어할 수 있게 한다. 그러나 이러한 모델을 학습시키기 위해서는 대규모의 쌍을 이룬(원본과 편집본) 비디오 데이터셋이 필요하며, 이는 비용이 많이 들고 확보 과정이 복잡하다. 이에 본 연구에서는 오프더셸프 또는 미리 계산된 쌍을 이룬 비디오 편집 데이터셋을 요구하지 않고, 사전 학습된 비디오 확산 모델(VDM)로부터의 on-the-fly 감독을 기반으로 하는 전파 기반 비디오 편집 학습 파이프라인인 PropFly를 제안한다. 구체적으로 PropFly는 중간의 노이즈된(latent)에서 서로 다른 Classifier-Free Guidance(CFG) 스케일을 적용한 원-스텝(one-step) 클린 잠재 추정치를 활용하여, ‘source’(저-CFG)와 ‘edited’(고-CFG) 잠재를 on-the-fly로 합성함으로써 다양한 쌍을 생성한다. source 잠재는 비디오의 구조적 정보를 제공하는 반면, edited 잠재는 학습을 위한 전파의 목표 변환을 제공한다. 우리의 파이프라인은 사전 학습된 VDM에 부착된 추가 어댑터를 통해 Guidance-Modulated Flow Matching(GMFM) 손실로 편집을 전파하는 방법을 학습할 수 있게 하며, 이 손실은 모델이 목표 변환을 재현하도록 유도한다. on-the-fly 감독은 모델이 시간적으로 일관되고 역동적인 변환을 학습하도록 보장한다. 광범위한 실험 결과, PropFly는 다양한 비디오 편집 과제에서 기존 최첨단 방법을 유의미하게 능가하며, 고품질의 편집 결과를 생성함을 보여준다.

실제 동영상으로부터의 고품질 새로운 시점 합성(NVS)은 문화유산 보존, 디지털 트윈, 몰입형 미디어와 같은 응용에 있어 필수적이다. 그러나 실제 동영상은 일반적으로 카메라 궤적이 불규칙하고 포즈가 알려지지 않은 긴 연속 구간을 포함하며, 이로 인해 재구성 과정에서 포즈 드리프트, 특징 불일치, 기하학적 왜곡이 발생한다. 또한 손실 압축은 기하 및 렌더링 품질을 점진적으로 저하시키는 불일치들을 도입함으로써 이러한 문제를 더욱 악화시킨다. 최근 연구들은 긴 연속 구간 NVS 또는 무포즈 재구성을 각각 다루어 왔지만, 압축을 인지하는 접근법은 여전히 특정 인공물이나 제한된 시나리오에 초점을 맞추는 경향이 있어 긴 동영상에서 나타나는 다양한 압축 양상이 충분히 탐구되지 못했다. 본 논문에서는 프레임 단위 압축 특성을 명시적으로 모델링하여 프레임 간 불일치와 누적된 기하학적 오차를 완화하는 압축 인지 학습 프레임워크인 CompSplat을 제안한다. CompSplat은 압축 인지 프레임 가중치와 적응형 가지치기 전략을 통합하여, 특히 높은 압축 조건에서 강건성과 기하학적 일관성을 향상시킨다. Tanks and Temples, Free, Hike를 포함한 도전적인 벤치마크에 대한 광범위한 실험 결과, CompSplat은 최신 수준의 렌더링 품질 및 포즈 정확도를 달성하며, 심각한 압축 조건에서 대부분의 최근 NVS 접근법을 유의미하게 능가함을 보여준다.

전파 기반 비디오 편집(Propagation-based video editing)은 단일 편집 프레임을 후속 프레임으로 전파함으로써, 동작과 구조 등 원래의 맥락을 유지하면서 사용자의 정밀한 제어를 가능하게 한다. 그러나 이러한 모델을 학습시키려면 대규모의 짝지어진(원본 및 편집본) 비디오 데이터셋이 필요하며, 이는 확보 비용이 크고 복잡하다. 이에 본 연구는 오프더셸프(off-the-shelf) 또는 사전 계산된 짝지어진 비디오 편집 데이터셋을 요구하는 대신, 사전 학습된 비디오 확산 모델(VDM)로부터의 on-the-fly(실시간) 감독에 의존하여 전파 기반 비디오 편집을 위한 학습 파이프라인인 PropFly를 제안한다. 구체적으로, 우리의 PropFly는 서로 다른 Classifier-Free Guidance(CFG) 스케일을 갖는 중간 noised latent로부터 한 단계(one-step) clean latent 추정을 활용하여, on-the-fly로 다양한 쌍의 ‘source’(저-CFG)와 ‘edited’(고-CFG) latent를 합성한다. source latent는 비디오의 구조적 정보를 제공하며, edited latent는 학습을 위한 목표 변환을 제공한다. 본 파이프라인은 사전 학습된 VDM에 부착된 추가 어댑터가 Guidance-Modulated Flow Matching(GMFM) loss를 통해 편집의 전파를 학습하도록 하며, 이는 모델이 목표 변환을 재현하도록 유도한다. on-the-fly 감독은 모델이 시간적으로 일관되고 역동적인 변환을 학습하도록 보장한다. 광범위한 실험 결과, 우리의 PropFly는 다양한 비디오 편집 작업에서 기존의 최신 방법들보다 유의하게 우수한 성능을 보이며, 고품질의 편집 결과를 산출함을 확인하였다.