인상적인 사실성을 지니고 있음에도 불구하고, 최신 텍스트-이미지 생성 모델은 구문성(compositionality)을 여전히 어려워하며, 종종 정확한 객체 개수, 속성, 그리고 공간 관계를 제대로 표현하지 못한다. 이러한 문제를 해결하기 위해, 우리는 훈련 없이(training-free) 객체 중심의 접근과 자기-정제(self-refinement)를 결합하여 레이아웃 충실도를 향상시키면서도 미적 품질을 보존하는 프레임워크를 제안한다. 구체적으로, 우리는 대규모 언어 모델(LLM)을 활용하여 입력 프롬프트로부터 명시적 레이아웃을 합성하고, 이를 이미지 생성 과정에 주입한다. 여기서 객체 중심 비전-언어 모델(VLM) 판별기가 여러 후보를 재순위화하여, 가장 프롬프트에 부합하는 결과를 반복적으로 선택한다. 명시적 레이아웃 근거화(explicit layout-grounding)와 자기-정제 기반 추론 시점 스케일링을 통합함으로써, 우리의 프레임워크는 최근의 텍스트-이미지 생성 모델들에 비해 프롬프트에 대한 장면 정합성을 더 강하게 달성한다. 코드는 https://minsuk-ji.github.io/ReFocus/ 에서 제공된다.

최근 확산 모델의 발전은 이미지 생성의 충실도를 크게 향상시켰으나, 저작권 침해에 대한 우려도 함께 제기되었다. 선행 방법들은 스타일 모방을 방지하기 위해 적대적 교란을 도입해 왔지만, 대부분은 작품의 시각적 품질을 저하시킨다. 이러한 점의 중요성을 인식하여, 우리는 보호 기능을 보존하면서도 시각적으로 개선된 보호 방법을 소개한다. 이를 위해 우리는 인간의 시각에 민감한 영역을 강조하는 지각 지도(perceptual map)를 설계하고, 인스턴스 인지 정교화(instance-aware refinement)에 의해 그 보호 강도를 그에 맞게 정제한다. 또한 작품을 보호하기가 얼마나 어려운지를 예측하여 그에 따라 보호 강도를 동적으로 조정하는 난이도 인지 보호(difficulty-aware protection)도 제안한다. 마지막으로 지각적 제약(perceptual constraints) 뱅크를 통합하여 무지각성의 향상을 추가로 도모한다. 결과는 본 방법이 보호 효능을 손상시키지 않으면서 보호된 이미지의 품질을 실질적으로 향상시킴을 보여준다.