저수준 비전과 비디오 디블러링을 위한 경량 복원 연구

Low-Level Vision and Lightweight Video Deblurring

연구 내용

비디오의 비균일 블러 성질과 시간 샤프니스 정보를 활용해 CNN을 설계하고, 비국소 유사도 제약으로 프레임 복원 성능과 경량성을 함께 달성하는 연구

저수준 비전 문제를 해결하기 위해 CNN 기반 구조를 경량화하면서 복원 품질을 확보하는 접근을 수행합니다. Dual convolutional neural networks로 저해상도·고해상도 간 대응을 학습하는 방향을 다루고, 비디오 영역에서는 시간 샤프니스 프라이어(TSP)를 이용해 인접 프레임의 선명한 픽셀 정보를 복원 네트워크에 결합합니다. 또한 블러된 프레임이 아닌 잠재 프레임과의 관계를 고려한 캐스케이드 학습을 적용하고, self-attention 기반 비국소 공간-시간 유사도 마이닝으로 전역 특징 전파를 강화합니다.

관련 프로젝트

0건

연구 흐름

먼저 2022년에는 저수준 비전에서 Dual CNN 구조를 통해 해상도 조건에 따른 시각 표현을 학습하는 기반을 마련했습니다. 이후 2023년에는 비디오의 도메인 지식을 활용해 디블러링으로 연구 범위를 확장했습니다. 시간 샤프니스 프라이어로 인접 프레임의 선명 영역을 복원에 연결하고, 모션 필드가 잠재 프레임과 연관된다는 관찰을 반영하여 캐스케이드 학습을 end-to-end로 구성했습니다. 마지막으로 self-attention 기반 비국소 유사도 마이닝을 도입해 프레임 복원 성능을 유지한 경량화를 달성했습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

비디오 디블러링 전처리
저해상도 영상 복원
경량 CNN 기반 실시간 복원
시간 샤프니스 기반 복원 전략
비국소 유사도 제약 학습
모션 관련 복원 파이프라인
카메라 흔들림 영상 보정
감시·로깅 영상 품질 개선
네트워크 경량화 설계
복원 품질 평가 기반 최적화