연속 시공간 비디오 초해상도(C-STVSR)에서 기존 방법들은 연속 인코딩을 위해 암시적 신경 표현(Implicit Neural Representation, INR)을 사용하지만, 종종 비디오 데이터의 복잡성을 충분히 포착하지 못하며, 단순 좌표 연결과 사전 학습된 광류(optical flow) 네트워크에 의존해 운동 표현을 구성한다. 흥미롭게도, 일반적인 관찰과는 달리 위치 인코딩을 추가하면 성능이 향상되지 않을 뿐 아니라 오히려 저하됨을 확인하였다. 이러한 문제는 특히 사전 학습된 광류 네트워크와 결합될 때 더욱 두드러지는데, 이는 모델의 유연성을 제한할 수 있기 때문이다. 이를 해결하기 위해 본 연구에서는 BF-STVSR을 제안하는데, 이는 비디오의 공간적·시간적 특성을 더 잘 나타내도록 설계된 두 가지 핵심 모듈을 포함한 C-STVSR 프레임워크이다: 1) 매끄러운 시간적 보간을 위한 B-spline Mapper, 2) 지배적인 공간 주파수를 포착하기 위한 Fourier Mapper. 본 접근법은 PSNR 및 SSIM을 포함한 다양한 지표에서 최신 성능을 달성하며, 향상된 공간적 디테일과 자연스러운 시간적 일관성을 보여준다. 우리의 코드는 $\text{here}$에서 이용 가능하다.

역문제(inverse problems) 중 하나인 동적 MRI 재구성은 딥러닝 기법의 활용에 힘입어 최근 급격한 발전을 보이고 있다. 특히, 정답(ground truth) 데이터 획득의 실질적 어려움은 비지도 학습 접근법의 출현으로 이어졌다. 그중 최근 유망한 방법은 암묵적 신경 표현(implicit neural representation, INR)으로, 좌표 값에 대응하는 신호 값으로 매핑하는 연속 함수를 통해 데이터를 정의한다. 이를 통해 불완전한 측정만으로도 누락된 정보를 채워 넣을 수 있으며 역문제를 효과적으로 해결할 수 있다. 그럼에도 불구하고, 이 방법을 반영한 기존 연구들은 긴 최적화 시간과 광범위한 하이퍼파라미터 튜닝의 필요와 같은 단점에 직면해 왔다. 이러한 문제를 해결하기 위해 본 연구에서는 DA-INR(Dynamic-Aware INR), 즉 영상 도메인에서 동적 MRI 데이터의 공간적 연속성과 시간적 연속성을 포착하고, 데이터의 시간적 중복성을 모델 구조에 명시적으로 반영하는 INR 기반 동적 MRI 재구성 모델을 제안한다. 그 결과, DA-INR은 극도로 낮은 언더샘플링 비율에서도 다른 모델들에 비해 재구성 품질에서 우수성을 보이면서도 최적화 시간을 유의하게 단축하고, 최소한의 하이퍼파라미터 튜닝만을 요구한다.

연속 시공간 비디오 초해상도(C-STVSR)에서 기존 방법들은 연속 인코딩을 위해 암시적 신경 표현(Implicit Neural Representation, INR)을 사용하지만, 종종 비디오 데이터의 복잡성을 충분히 포착하지 못하며, 단순 좌표 연결과 사전 학습된 광류(optical flow) 네트워크에 의존해 운동 표현을 구성한다. 흥미롭게도, 일반적인 관찰과는 달리 위치 인코딩을 추가하면 성능이 향상되지 않을 뿐 아니라 오히려 저하됨을 확인하였다. 이러한 문제는 특히 사전 학습된 광류 네트워크와 결합될 때 더욱 두드러지는데, 이는 모델의 유연성을 제한할 수 있기 때문이다. 이를 해결하기 위해 본 연구에서는 BF-STVSR을 제안하는데, 이는 비디오의 공간적·시간적 특성을 더 잘 나타내도록 설계된 두 가지 핵심 모듈을 포함한 C-STVSR 프레임워크이다: 1) 매끄러운 시간적 보간을 위한 B-spline Mapper, 2) 지배적인 공간 주파수를 포착하기 위한 Fourier Mapper. 본 접근법은 PSNR 및 SSIM을 포함한 다양한 지표에서 최신 성능을 달성하며, 향상된 공간적 디테일과 자연스러운 시간적 일관성을 보여준다. 우리의 코드는 $\text{here}$에서 이용 가능하다.

역문제(inverse problems) 중 하나인 동적 MRI 재구성은 딥러닝 기법의 활용에 힘입어 최근 급격한 발전을 보이고 있다. 특히, 정답(ground truth) 데이터 획득의 실질적 어려움은 비지도 학습 접근법의 출현으로 이어졌다. 그중 최근 유망한 방법은 암묵적 신경 표현(implicit neural representation, INR)으로, 좌표 값에 대응하는 신호 값으로 매핑하는 연속 함수를 통해 데이터를 정의한다. 이를 통해 불완전한 측정만으로도 누락된 정보를 채워 넣을 수 있으며 역문제를 효과적으로 해결할 수 있다. 그럼에도 불구하고, 이 방법을 반영한 기존 연구들은 긴 최적화 시간과 광범위한 하이퍼파라미터 튜닝의 필요와 같은 단점에 직면해 왔다. 이러한 문제를 해결하기 위해 본 연구에서는 DA-INR(Dynamic-Aware INR), 즉 영상 도메인에서 동적 MRI 데이터의 공간적 연속성과 시간적 연속성을 포착하고, 데이터의 시간적 중복성을 모델 구조에 명시적으로 반영하는 INR 기반 동적 MRI 재구성 모델을 제안한다. 그 결과, DA-INR은 극도로 낮은 언더샘플링 비율에서도 다른 모델들에 비해 재구성 품질에서 우수성을 보이면서도 최적화 시간을 유의하게 단축하고, 최소한의 하이퍼파라미터 튜닝만을 요구한다.

최근 기준(reference-based) 영상 초해상도(RefSR)는 영상 초해상도(SR) 과제에서 우수한 성능을 보였다. RefSR의 핵심 아이디어는 기준(Ref) 영상으로부터의 추가 정보를 활용하여 저해상도(LR) 영상의 고주파 성분을 복원하는 것이다. 특징 매칭을 통해 관련 텍스처를 전달함으로써 RefSR 모델은 기존의 단일 영상 초해상도(SISR) 모델보다 성능이 뛰어나다. 그러나 기준(Ref) 영상과 LR 영상 간에 도메인 갭(domain gap)이 존재할 경우 성능이 크게 저하되는데, 이는 위성 영상과 같은 실제 환경에서 자주 발생한다. 본 서신에서는 기존의 RefSR 모델에 손쉽게 통합될 수 있으며 플러그-앤-플레이 방식으로 성능을 향상시키는 도메인 매칭(DM) 모듈을 제안한다. 우리가 아는 한, 원격탐사 영상 처리에서 DM 기반 RefSR을 탐구한 것은 본 연구가 처음이다. 분석 결과, 이러한 도메인 갭은 종종 서로 다른 위성에서 발생하며, 제안 모델은 이러한 문제를 효과적으로 해결하는 반면 기존 모델은 어려움을 겪는 것으로 나타났다. 실험 결과, 제안된 DM 모듈은 원격탐사 SR 과제에서 질적 및 양적 측면 모두에서 SR 성능을 향상시킴을 보여주었다.

연속 공간-시간 비디오 초해상화(C-STVSR)에서 기존 방법들은 연속 인코딩을 위해 암시적 신경 표현(Implicit Neural Representation, INR)을 사용하지만, 영상 데이터의 복잡성을 포착하는 데에는 종종 어려움을 겪으며, 모션 표현을 위해 단순한 좌표 연결과 사전 학습된 광류(optical flow) 네트워크에 의존하는 경향이 있다. 흥미롭게도, 일반적인 관찰과는 달리 위치 인코딩을 추가하면 성능이 향상되지 않을 뿐 아니라 오히려 저하됨을 확인하였다. 이러한 문제는 특히 사전 학습된 광류 네트워크와 결합될 때 두드러지는데, 이는 모델의 유연성을 제한할 수 있기 때문이다. 이와 같은 문제를 해결하기 위해, 우리는 영상의 공간적·시간적 특성을 더 잘 반영하도록 설계된 두 개의 핵심 모듈을 갖춘 C-STVSR 프레임워크인 BF-STVSR를 제안한다: 1) 매끄러운 시간 보간을 위한 B-spline Mapper, 그리고 2) 지배적인 공간 주파수를 포착하기 위한 Fourier Mapper이다. 우리의 방법은 PSNR과 SSIM을 포함한 다양한 지표에서 최첨단 성능을 달성하며, 향상된 공간 디테일과 자연스러운 시간적 일관성을 보여준다. 코드는 https://github.com/Eunjnnn/bfstvsr 에서 제공된다.

미토콘드리아는 세포 에너지 생산과 조절의 중심에 있으며, 그 형태는 기능적 수행과 밀접하게 연관되어 있다. 미토콘드리아 초미세구조를 정밀하게 분석하는 것은 세포의 생체에너지 대사와 병리 현상을 이해하는 데 필수적이다. 이러한 분석을 위한 표준 방법으로 전자현미경 투과법(transmission electron microscopy, TEM)이 여전히 널리 인정받고 있지만, 기존의 수작업 분할(segmentation) 방법은 시간이 많이 소요되고 오류가 발생하기 쉽다. 본 연구에서는 확률적 인터랙티브 분할(probabilistic interactive segmentation)과 미토콘드리아 형태의 자동 정량화를 결합한 새로운 딥러닝 프레임워크를 제안한다. 불확실성 분석과 실시간 사용자 피드백을 활용함으로써, 본 모델은 수작업 방법에 비해 분석 시간을 90% 절감하면서도 분할 정확도는 유사한 수준을 달성한다. 이 파이프라인은 벤치마크 Lucchi++ 데이터셋과 마우스 골격근의 실제 TEM 이미지 모두에서 평가되었으며, 효율을 개선하는 것뿐 아니라 뒤셴느 근이영양증(Duchenne muscular dystrophy)의 야생형(wild-type) 마우스와 mdx 마우스 모델 간 미토콘드리아 형태에서의 주요 병리학적 차이를 확인하였다. 이러한 자동화 접근법은 미토콘드리아 분석을 위한 강력하고 확장 가능한 도구를 제공하여, 세포 기능 및 질병 기전의 고처리량(high-throughput)·재현성 있는 통찰을 가능하게 한다.

목적: DCE-MRI로부터 약동학(PK) 파라미터 맵을 직접 추정하고 불확실성을 평가하기 위한 새로운 딥러닝 모델을 제안하고 그 성능을 평가하고자 한다. 방법: 본 단일 기관 연구에서는 2010년 4월부터 2020년 2월까지 수술 전 DCE-MRI를 시행한 성인형 미만성 교종 환자를 후향적으로 등록하였다. 시공간 확률론적 모델을 사용하여 합성 PK 맵을 생성하였다. 구조적 유사도 지수(Structural Similarity Index Measure, SSIM)로 정답(GT) 맵과의 값을 계산하였다. 신뢰도 평가는 합성 및 GT PK 맵에 대해 급내상관계수(intraclass correlation coefficient, ICC)를 이용해 평가하였다. 임상적 검증을 위해 WHO의 저등급(low) 대 고등급(high) 및 IDH-wildtype 대 mutant를 예측하는 Area Under the Receiver Operating Characteristic Curve(AUROC)를 산출하였다. 결과: , 0.934 vs 0.907 (p = 0.50); Vp, 0.927 vs 0.899 (p = 0.24); 그리고 Ve, 0.945 vs 0.910 (p = 0.24)로 교종의 등급 분류에서의 결과가 관찰되었다. 결론: 시공간 확률론적 딥러닝 모델을 사용하여 DCE-MRI로부터 생성한 합성 PK 맵은 교종 등급 분류에서 진단 성능을 저해하지 않으면서 신뢰도가 향상된 것으로 나타났다. 핵심 사항: 질문: 딥러닝 모델이 역동적 조영증강 MRI(DCE-MRI)의 신뢰도를 향상시켜 더 일관되고 임상적으로 수용 가능한 교종 영상을 제공할 수 있는가? 결과: 시공간 딥러닝 모델은 Ktrans의 신뢰도에서 Tofts 모델을 능가하였고, 동맥 입력함수 추정 없이 IDH 변이 및 교종 등급에 대한 진단 성능을 보존하였다. 임상적 의의: 딥러닝을 통해 DCE-MRI의 신뢰도를 향상시키면 영상의 일관성이 개선되고 재현 가능한 약동학 맵을 통한 분자 종양 특성화가 가능해지며, 맞춤형 치료 계획 수립을 지원하여 미만성 교종 환자의 더 나은 임상적 예후로 이어질 수 있다.

가지치기(pruning) 방법은 추가 학습 비용 없이도 모델 성능을 효과적으로 유지하지만, 흔히 중요한 연결을 보존하는 데만 초점을 맞추어, 가지치기된 가중치(pruned weights)가 후속 미세조정(fine-tuning)이나 증류(distillation)에 미치는 영향을 간과함으로써 비효율을 초래한다. 또한 생성 모델을 위한 대부분의 압축(compression) 기법은 주로 GAN을 위해 개발되어 StyleGAN과 같은 특정 아키텍처에 맞춰져 있으며, Diffusion 모델을 압축하는 연구는 이제 막 시작된 단계이다. 더 나아가 이러한 방법들은 종종 GAN 또는 Diffusion 모델에만 적용 가능하여, 두 가지 모델 유형 모두에서 작동하는 접근이 필요함을 보여준다. 본 논문에서는 두 모델 유형 모두에 적용 가능한, 가지치기된 가중치를 정제(refining)하기 위한 다목적 기법인 특이값 스케일링(Singular Value Scaling, SVS)을 제안한다. 우리의 분석에 따르면, 가지치기된 가중치는 종종 지배적인 특이벡터(dominant singular vectors)를 보이며, 이로 인해 미세조정의 효율성이 저해되고 무작위 초기화(random initialization)와 비교하여 성능이 최적이 아님이 나타난다. 본 방법은 가지치기된 가중치의 특이값(singular values) 간 불일치를 최소화함으로써 가중치 초기화를 향상시켜 미세조정 과정을 개선한다. 이러한 접근은 압축된 모델이 더 우수한 해로 유도될 뿐 아니라 미세조정 속도도 유의미하게 향상시킨다. StyleGAN2, StyleGAN3 및 DDPM에 대한 광범위한 실험 결과, SVS는 추가 학습 비용 없이도 모델 유형 전반에 걸쳐 압축 성능을 개선함을 보여준다.