위성 합성 개구 레이더(SAR) 영상은 날씨와 시간 조건에 관계없이 획득할 수 있어 매우 유용하다. 그러나 SAR 영상은 치명적인 잡음과 더불어 맥락 정보가 상대적으로 부족하여, 해석이 어렵고 덜 직관적이다. 따라서 SAR을 전기광학(Electro-Optical, EO) 영상으로 번역하여 더 쉽게 해석할 수 있게 하는 연구가 매우 요구된다. 본 논문에서는 정렬 불일치에 강인한 손실함수를 포함한, 새로운 거친-부터-정밀(coarse-to-fine) 맥락 인지형 SAR-EO 영상 번역(CFCA-SET) 프레임워크를 제안한다. 또한 SAR-EO 영상의 정렬이 어긋난 쌍(misaligned pairs)에 대해 미스얼라인먼트에 강인한(loss) 손실을 설계한다. SAR-근적외선(Near-Infrared, NIR) 번역에 대한 보조 학습을 통해, CFCA-SET은 2단계 학습으로 구성된다: (i) 저해상도 SAR-EO 번역은 국소 자기주의(local self-attention) 모듈을 통해 SAR 잡음을 감소시키는 방식으로 거친 단계에서 학습하고, (ii) 그 결과 출력을 미세 단계에서 안내(guidance)로 활용하여 고해상도의 SAR 컬러라이제이션을 생성한다. SAR-NIR 번역에 대한 제안된 보조 학습은, 맥락 인지 방식으로 다양한 SAR 객체의 구별 가능한 특성을 더 적은 혼동으로 학습하도록 CFCA-SET을 성공적으로 이끈다. SAR과 EO 영상 사이에 불가피하게 발생하는 정렬 불일치 문제를 다루기 위해, 우리는 새롭게 정렬 불일치에 강인한 손실함수를 설계한다. 광범위한 실험 결과는, CFCA-SET이 아홉 가지 영상 품질 지표 측면에서 다른 방법들에 비해 더 알아볼 수 있고 이해하기 쉬운 EO 유사 영상을 생성함을 보여준다. CFCA-SET은 두 개의 데이터셋(QXS 및 CASET)에서 최신 기술 수준(state-of-the-art) 방법을 다음과 같은 향상으로 능가한다: PSNR(3.6%, 29%), ERGAS(7.4%, 30%), SSIM(15%, 15%), SAM(21%, 38%), Ds(16%, 13%), QNR(1.5%, 3.1%), CHD(18%, 12%), LPIPS(4.2%, 8%), FID(9.0%, 33%).

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.