자기참조 기반 초해상도 및 패치 확산 복원, 효율화

Self-Exempler Super-Resolution and Patch-Based Diffusion Restoration

연구 내용

입력 이미지 내부의 자기유사성과 참조 패치를 활용해 초해상도 및 영상 복원을 수행하고, 양자화·확산 기반 복원으로 계산 효율과 품질을 동시에 개선하는 연구

입력 이미지 자체에서 텍스처와 고주파 정보를 추출해 test-time 학습을 수행하는 reference-based zero-shot super-resolution을 구현하고, depth guided 매칭으로 내부 참조를 구성합니다. 또한 영상 self-similarity를 patch clustering으로 정리한 뒤 reference-based quantization을 적용해 고비트 참조와 저비트 영역 양자화를 결합하여 연산량을 낮춥니다. 메모리 제약 환경에서는 patch 기반 diffusion 복원에서 경계 아티팩트를 줄이기 위한 constrained refinement를 설계합니다. 더불어 차량 환경에서 2D·3D 자세/형상 추정을 위한 in-vehicle 데이터와 pose prior를 구성하여 컴퓨터비전 추정 문제로 확장합니다.

관련 프로젝트

5건

연구 흐름

2022년에는 입력에서 내부 참조를 만들어 zero-shot 학습을 수행하는 reference-based SR로 실세계 일반화 문제를 다루는 연구를 시작했습니다. 2024년에는 diffusion 모델을 패치 단위로 적용해 고해상도 복원을 목표로 하되, luminance를 유지하는 constrained refinement로 품질 제약을 걸었습니다. 같은 시기 초해상도 네트워크의 연산 효율화를 위해 self-similarity 기반 reference 패치를 활용한 quantization 방법을 제안했고, 2023년부터는 차량 환경 특화 데이터와 pose prior를 통해 단일 이미지 기반 자세·형상 추정으로 컴퓨터비전 범위를 확장했습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

입력 이미지 기반 초해상도
고해상도 영상 복원 파이프라인
경계 아티팩트 저감 복원
경량 초해상도 네트워크
양자화 기반 화질-효율 최적화
SPAD 카메라 기반 ISP 처리
저전력 영상 후처리
차량 탑승자 자세 추정
3차원 복원 전처리
자기참조 기반 영상 처리