학습 없이 확장하는 생성형 비전: 파라미터 효율 적응과 고해상도 확산 모델

Training-free Generative Vision: Parameter-efficient Adaptation and High-resolution Diffusion

연구 내용

확산 기반 생성 모델의 학습 부담을 줄이면서 고해상도 이미지·비디오 생성 성능을 확보하는 연구

본 분야에서는 확산 모델의 생성 능력을 활용하되 추가 학습 또는 파인튜닝 없이 해상도와 품질을 확장하는 절차를 설계합니다. 초기에는 파라미터 효율 미세조정 관점에서 멀티-헤드 저랭크 적응을 구성해 일반화에 유리한 업데이트를 정리합니다. 이후 저해상도 생성 결과를 구조 가이드로 활용해 단계적(Progressive)으로 고해상도 이미지를 복원하고, 선명화 연산을 파이프라인에 포함해 아티팩트를 완화합니다. 비디오 생성에서는 저프레임의 키프레임을 기반으로 noise 재주입과 슬라이딩 윈도우 잠재 denoising을 적용하여 시간 일관성을 유지하는 방법을 제안합니다.

관련 프로젝트

2건

연구 흐름

초기 단계에서는 대규모 생성 모델에 대한 파라미터 효율 적응 기법을 정리하고, 멀티-헤드 저랭크 형태로 파인튜닝 부담을 낮추면서 추론·일반화 성능을 점검했습니다. 이후 고해상도 생성이 학습 없이도 가능한지 검토하며, 저해상도에서 생성된 정보를 상위 해상도 단계로 전달하는 progressive 파이프라인을 구성했습니다. 최근에는 비디오 영역으로 확장하여 고프레임레이트 생성을 목표로 키프레임 기반 정렬과 슬라이딩 윈도우 denoising을 결합해 긴 시퀀스에서의 열화와 플리커 문제를 줄이는 방향으로 연구를 수행했습니다.

활용 가능성

활용 가능성은 알앤디써클 특화 AI 에이전트가 생성한 내용으로, 실제 연구 가능 여부는 연구실과의 논의가 필요합니다.

고해상도 이미지 생성 자동화
학습 비용 절감을 위한 경량 적응
영상 편집용 품질 향상 모듈
초고프레임 비디오 생성 파이프라인
실시간 콘텐츠 제작 지원
저자원 환경에서의 생성형 워크플로우
콘텐츠 복원 및 선명화 전처리
모델 미세조정 없이 도메인 전환
비디오 품질 모니터링 보조
생성 모델 기반 시각 데이터 증강