데이터 증강과 생성 모델의 효율화로 고품질 영상·비디오 복원 연구

High-Quality Image/Video Restoration via Data Augmentation and Generative Model Efficiency

연구 내용

저수준 비전에서 성능을 좌우하는 학습 신호를 데이터 증강과 생성 모델 압축으로 정교화하고, 비디오·이미지 복원 품질과 학습 효율 및 프라이버시를 함께 개선하는 연구

본 분야는 저수준 비전의 학습 안정성과 복원 품질을 동시에 다루는 데 초점을 둡니다. 데이터 증강 설계를 통해 입력 분포의 취약점을 보완하고, 연속 공간·시간 비디오 초해상에서는 B-spline 기반 매핑과 Fourier 기반 빈도 성분 추출로 공간 주파수와 시간 일관성을 모델링합니다. 또한 생성 모델의 가지치기(pruning) 이후 미세조정 효율을 높이기 위해 Singular Value Scaling과 같은 가중치 정제 기법을 사용합니다. 추가로 federated learning 환경에서는 통신 비용과 프라이버시 제약을 고려한 확률적 이진 마스크 기반 프레임워크를 적용하여 생성 성능의 안정성을 확보합니다.

관련 프로젝트

0건

연구 흐름

연구는 2024년 저수준 비전 학습을 위해 CutBlur와 혼합형 증강 전략을 제안하며 데이터 수준에서 성능을 끌어올리는 방향으로 시작되었습니다. 이후 2025년에는 연속 공간·시간 비디오 초해상에서 BF-STVSR를 통해 시간 보간과 공간 주파수 표현을 분리 모듈로 구성하는 연구로 확장되었습니다. 동시에 생성 모델 압축에서는 가지치기 이후 가중치 정제 전략(SVS)을 통해 미세조정 효율을 개선하는 흐름을 확보했습니다. 마지막으로 federated 환경에서는 PRISM으로 통신·프라이버시 제약을 반영한 생성 학습을 수행하고, diffusion 기반 멀티컨셉 3D 생성(MultiDreamer3D)으로 응용 범위를 넓혔습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

저수준 비전 데이터 증강 파이프라인
공간·시간 일관성을 갖는 비디오 초해상
연속 좌표 기반 비디오 복원 모델
생성 모델 압축을 통한 경량화 배포
pruning 후 미세조정 효율 향상
Edge device용 프라이버시 보존 생성
Non-IID federated 환경 생성 학습
diffusion 기반 3D 콘텐츠 커스터마이징
시간 보간 기반 프레임 품질 개선
영상·비디오 복원 전처리 자동화