인상적인 사실성을 지니고 있음에도 불구하고, 최신 텍스트-이미지 생성 모델은 구문성(compositionality)을 여전히 어려워하며, 종종 정확한 객체 개수, 속성, 그리고 공간 관계를 제대로 표현하지 못한다. 이러한 문제를 해결하기 위해, 우리는 훈련 없이(training-free) 객체 중심의 접근과 자기-정제(self-refinement)를 결합하여 레이아웃 충실도를 향상시키면서도 미적 품질을 보존하는 프레임워크를 제안한다. 구체적으로, 우리는 대규모 언어 모델(LLM)을 활용하여 입력 프롬프트로부터 명시적 레이아웃을 합성하고, 이를 이미지 생성 과정에 주입한다. 여기서 객체 중심 비전-언어 모델(VLM) 판별기가 여러 후보를 재순위화하여, 가장 프롬프트에 부합하는 결과를 반복적으로 선택한다. 명시적 레이아웃 근거화(explicit layout-grounding)와 자기-정제 기반 추론 시점 스케일링을 통합함으로써, 우리의 프레임워크는 최근의 텍스트-이미지 생성 모델들에 비해 프롬프트에 대한 장면 정합성을 더 강하게 달성한다. 코드는 https://minsuk-ji.github.io/ReFocus/ 에서 제공된다.

최근 확산 모델의 발전은 이미지 생성의 충실도를 크게 향상시켰으나, 저작권 침해에 대한 우려도 함께 제기되었다. 선행 방법들은 스타일 모방을 방지하기 위해 적대적 교란을 도입해 왔지만, 대부분은 작품의 시각적 품질을 저하시킨다. 이러한 점의 중요성을 인식하여, 우리는 보호 기능을 보존하면서도 시각적으로 개선된 보호 방법을 소개한다. 이를 위해 우리는 인간의 시각에 민감한 영역을 강조하는 지각 지도(perceptual map)를 설계하고, 인스턴스 인지 정교화(instance-aware refinement)에 의해 그 보호 강도를 그에 맞게 정제한다. 또한 작품을 보호하기가 얼마나 어려운지를 예측하여 그에 따라 보호 강도를 동적으로 조정하는 난이도 인지 보호(difficulty-aware protection)도 제안한다. 마지막으로 지각적 제약(perceptual constraints) 뱅크를 통합하여 무지각성의 향상을 추가로 도모한다. 결과는 본 방법이 보호 효능을 손상시키지 않으면서 보호된 이미지의 품질을 실질적으로 향상시킴을 보여준다.

인상적인 사실성을 지니고 있음에도 불구하고, 최신 텍스트-이미지 생성 모델은 구문성(compositionality)을 여전히 어려워하며, 종종 정확한 객체 개수, 속성, 그리고 공간 관계를 제대로 표현하지 못한다. 이러한 문제를 해결하기 위해, 우리는 훈련 없이(training-free) 객체 중심의 접근과 자기-정제(self-refinement)를 결합하여 레이아웃 충실도를 향상시키면서도 미적 품질을 보존하는 프레임워크를 제안한다. 구체적으로, 우리는 대규모 언어 모델(LLM)을 활용하여 입력 프롬프트로부터 명시적 레이아웃을 합성하고, 이를 이미지 생성 과정에 주입한다. 여기서 객체 중심 비전-언어 모델(VLM) 판별기가 여러 후보를 재순위화하여, 가장 프롬프트에 부합하는 결과를 반복적으로 선택한다. 명시적 레이아웃 근거화(explicit layout-grounding)와 자기-정제 기반 추론 시점 스케일링을 통합함으로써, 우리의 프레임워크는 최근의 텍스트-이미지 생성 모델들에 비해 프롬프트에 대한 장면 정합성을 더 강하게 달성한다. 코드는 https://minsuk-ji.github.io/ReFocus/ 에서 제공된다.

최근 확산 모델의 발전은 이미지 생성의 충실도를 크게 향상시켰으나, 저작권 침해에 대한 우려도 함께 제기되었다. 선행 방법들은 스타일 모방을 방지하기 위해 적대적 교란을 도입해 왔지만, 대부분은 작품의 시각적 품질을 저하시킨다. 이러한 점의 중요성을 인식하여, 우리는 보호 기능을 보존하면서도 시각적으로 개선된 보호 방법을 소개한다. 이를 위해 우리는 인간의 시각에 민감한 영역을 강조하는 지각 지도(perceptual map)를 설계하고, 인스턴스 인지 정교화(instance-aware refinement)에 의해 그 보호 강도를 그에 맞게 정제한다. 또한 작품을 보호하기가 얼마나 어려운지를 예측하여 그에 따라 보호 강도를 동적으로 조정하는 난이도 인지 보호(difficulty-aware protection)도 제안한다. 마지막으로 지각적 제약(perceptual constraints) 뱅크를 통합하여 무지각성의 향상을 추가로 도모한다. 결과는 본 방법이 보호 효능을 손상시키지 않으면서 보호된 이미지의 품질을 실질적으로 향상시킴을 보여준다.

최근 딥러닝 기반 모델의 발전은 사진과 같은(또는 지각적) 단일 이미지 초해상도를 유의미하게 향상시켰다. 그러나 강력한 성능에도 불구하고, 많은 방법들은 높은 계산 요구량으로 인해 실제 응용에 적용하기가 어렵다. 이러한 요구 하에서 딥 모델의 활용을 용이하게 하기 위해, 우리는 성능을 유지하면서 네트워크의 효율성을 유지하는 데 초점을 둔다. 구체적으로, 제한된 자원 내에서 다층 수준의 특징 융합을 통해 성능을 향상시키기 위해 잔차 네트워크(residual network) 상에서 연쇄(cascading) 메커니즘을 구현하는 아키텍처를 설계한다. 또한 제안된 모델은 극단적 효율성을 달성하기 위해 그룹 합성곱(group convolution)과 재귀적(recursive) 기법을 채택한다. 더 나아가, 적대적 학습(adversarial learning) 패러다임과 멀티스케일 판별기(multi-scale discriminator) 접근을 사용하여 출력의 지각적 품질을 추가로 향상시킨다. 본 방법의 성능은 다양한 데이터셋을 사용한 광범위한 내부 실험과 벤치마크를 통해 조사하였다. 그 결과, 본 연구의 모델은 전통적인 픽셀 기반 과제와 지각 기반 과제 모두에서 유사한 복잡도를 갖는 최근 방법들보다 더 우수한 성능을 보였다.

확산 모델의 발전과 함께, 다양한 이미지 편집 기법들도 함께 개발되어 왔다. 이를 지원하기 위해 원본 콘텐츠를 보존하기 위한 여러 가지 역추정(inversion) 방법들이 도입되었다. 그러나 이러한 역추정 방법들은 종종 불안정성을 보이며, 특히 딥 U-Nets를 탑재한 고해상도 확산 모델에 적용될 때 특정 이미지들을 재구성하지 못하는 경우가 흔하다. 이러한 문제를 해결하기 위해, 본 연구에서는 새로운 플러그앤플레이 plug-and-play RLI(Residual Linear Interpolation) 방법을 제안한다. 순전파(forward) 과정에서, 본 방법은 자기어텐션(self-attention) 메커니즘 내에서 동작하며 계산 전후의 어텐션 값들 사이를 보간(interpolation)한다. 이러한 보간은 어텐션 맵의 급격한 변화를 완화하여, 공간적 표현에서의 보다 매끄러운 전이를 가능하게 하고 원본 콘텐츠에 대한 의도치 않은 왜곡을 줄인다. 본 방법은 다양한 기존 확산 모델 변형, 역추정 기법, 그리고 이미지 편집 접근법과 호환된다. 특히, SDXL에서 Null-text Inversion을 사용할 때 관찰되는 재구성 실패에 대해 유의미한 해결책을 제공하며, 여기서는 null-text 최적화가 적절히 수렴하지 않는다. 또한, 여러 확산 모델 전반에 걸쳐 다양한 역추정 방법과 이미지 편집 방법과 결합하였을 때, 본 접근법은 기존 편집 성능을 저해하지 않으면서도 정량적 및 정성적으로 원본 콘텐츠 보존이 더 우수함을 보여준다. 코드는 https://github.com/ugiugi0823/ICCVW-RLI 에서 제공된다.

최근 확산 모델의 발전은 이미지 생성을 혁신했으나, 예술작품의 복제나 딥페이크 생성과 같은 오용의 위험을 동반한다. 기존의 이미지 보호 방법들은 효과적이긴 하지만, 보호 효능, 비가시성, 그리고 지연 시간 간의 균형을 맞추는 데 어려움이 있어 실제 활용에 제약이 있다. 본 연구에서는 지연 시간을 감소시키기 위한 교란 사전학습을 제안하고, 입력 이미지에 동적으로 적응하여 성능 저하를 최소화하는 혼합형 교란(mixture-of-perturbations) 접근법을 제시한다. 우리의 새로운 학습 전략은 다중 VAE 특징 공간에 걸쳐 보호 손실을 계산하며, 추론 단계에서의 적응형 표적 보호는 견고성과 비가시성을 향상시킨다. 실험 결과, 비가시성이 개선되고 추론 시간이 현저히 감소한 가운데서도 보호 성능은 유사한 수준으로 나타났다. 코드는 https://webtoon.github.io/impasto 에서 확인할 수 있으며, 데모도 제공된다.

기존의 가지치기(pruning) 방법은 희소 구조를 식별하기 위해 종종 가중치 중요도(weight importance)에 의존하지만, 일반적으로 훈련 과정에서 이 정보를 적응적으로 활용하지 않고 정적으로 적용한다. 본 연구에서는 순방향과 역방향 경로 모두에서 가중치의 중요도를 활용하여 희소 모델 구조를 동적으로 탐색하는 새로운 접근법인 M agnitude A ttention 기반 D ynamic P runing (MAP) 방법을 제안한다. 크기(magnitude) 기반 어텐션은 가중치의 크기를 연속적인 실수 값으로 정의함으로써, 중복(redundant) 네트워크에서 유효한 희소 네트워크로의 매끄러운 전환을 가능하게 하고 효율적인 탐색을 촉진한다. 또한 어텐션 메커니즘은 희소 네트워크 내에서 중요한 레이어에 대한 보다 효과적인 업데이트를 보장한다. 이후, 본 접근법은 탐색에서 활용(exploitation)으로 전환하여, 탐색된 구조에 따라 탐색 과정에서 확인된 핵심 가중치로 구성된 희소 모델만을 독점적으로 업데이트한다. 그 결과, 가지치기된 모델은 밀집(dense) 모델과 비교 가능한 성능을 달성할 뿐 아니라 CIFAR-10/100 및 ImageNet에서 이전 가지치기 방법들보다 더 우수한 성능을 보인다. • 우리는 새로운 크기 어텐션 기반 가지치기 방법(Section Section 4 )을 제안하고, 경쟁력 있는 최신 가지치기 방법과의 비교를 통해 그 효과를 입증한다(Section Section 5.2 ). • 우리는 크기 어텐션의 영향을 분석하고, 동적 가지치기(dynamic pruning)에서 적절한 마스크(mask) 또는 가중치(weighting) 스킴을 선택하는 것의 중요성에 대한 통찰을 제공한다(Section Section 5.3.1 ). • 우리는 동적 가지치기를 위한 탐색-활용 전략을 소개한다(Section Section 4 ). 특히, 본 접근법이 다른 정적 가지치기 방법들과 비교하여 매우 효과적인 결과를 산출함을 관찰하였다. 1 1 여기서 중요한 가중치만을 업데이트하는 접근을 정적 가지치기(static pruning)로 지칭하며, 이는 동적 가지치기(dynamic pruning) 개념과 대비된다(Lin et al., 2020 ; Guo et al., 2016).