확산 모델은 이미지 생성 분야에서 괄목할 만한 성과를 거두었으며, 그 응용은 다양한 영역으로 확장되고 있다. 마스킹된 영역 채우기(inpainting)는 확산 모델의 이점을 크게 활용할 수 있는 대표적 응용 중 하나이다. 기존 방법들은 대개 사전학습된 확산 모델의 역과정을 무단으로 활용하거나, 문제를 더 큰 틀, 즉 조건부 생성(conditional generation)으로 전환한다. 그러나 이러한 접근법들은 종종 생성 과정에서 중첩 반복 루프가 필요하거나, 조건화를 위한 추가 구성요소가 요구된다. 본 논문에서는 바닐라(vanilla) 확산 모델을 단순하면서도 효과적으로 재구성한 방식으로 마스킹된 영역 채우기를 위한 영역 인지 확산 모델(region-aware diffusion models, RAD)을 제안한다. RAD는 각 픽셀마다 서로 다른 노이즈 스케줄을 사용함으로써, 전역 이미지 맥락을 고려하면서도 국소 영역을 비동기적으로 생성할 수 있게 한다. 단순한 역과정은 추가 구성요소를 필요로 하지 않으므로, RAD는 최신 기술 대비 최대 100배까지 더 빠른 추론 시간을 달성한다. 또한 우리는 다른 사전학습 확산 모델을 기반으로 RAD를 미세조정하기 위해 저랭크 적응(low-rank adaptation, LoRA)을 활용하여 학습 시의 계산 부담을 함께 감소시킨다. 실험 결과, RAD는 FFHQ, LSUN Bedroom, ImageNet 데이터셋에서 정성적 및 정량적으로 모두 최신 수준의 성능을 제공함을 확인하였다.

*본 초록은 AI를 통해 원문을 번역한 내용입니다. 정확한 내용은 하기 원문에서 확인해주세요.