[Paper Review] Prompt-to-Prompt Image Editing with Cross Attention Control

https://arxiv.org/abs/2208.01626

Prompt-to-Prompt Image Editing with Cross Attention Control

 

 

 

기존 LLI (Large-scale language-image) models 의 경우 text prompt 에서 조금의 변화만으로도 완전히 다른 결과의 이미지를 만들어냅니다.

이 문제점을 해결하기 위해 LLI-based methods 들은 사용자에게 명확한 masking 을 요구했습니다.
그리고 이미지에서 masked 부분만 편집합니다.

하지만 이 masking 과정은 복잡하고 느리며 직관적인 text-driven editing 을 방해합니다.
또한 masking 한 부분 중에 중요한 구조적 정보를 가진 곳이 지워질 수도 있습니다.

masking

 

이 논문에서는 그러한 한계점을 개선하기 위해서 Prompt-to-Prompt 조절을 통한 pre-trained text-conditioned diffusion models 를 사용합니다.

이를 가능하게 하기 위해서 cross-attention layers 를 깊이 들어다봅니다. 그리고 생성 이미지를 control 하기 위해 그들의 semantic strength 탐구합니다.

 

이 논문에서는 내부의 cross-attention map 을 생각합니다.

• high-dimensional tensors
  • bind pixels 
  • tokens extracted form the prompt text
• 이와 같은 맵이 semantic 관계를 강하게 포함하고 있다는 것을 알 수 있습니다.

 

🔑 Main Key

• 텍스트-이미지 생성모델(Imagen) 을 사용하여 텍스트만으로 이미지 수정이 가능하도록 제안합니다.
• Cross-attention layer 의 cross-attention map 을 수정하여 원래 이미지의 공간적 구조를 보존하면서도 텍스트에 따른 수정이 가능하도록 합니다.
• Diffusion model 의 cross-attention map injection 을 통해 구조적 변화를 조정하고, 이미지 내 객체의 위치나 텍스처만 수정 가능합니다.

 

 

📌 주요 기술

• Word Swap: 텍스트의 특정 단어를 교체해 이미지 내 특정 객체를 변경합니다.
  • 예: "dog" → "cat"
  • 초기 이미지의 구조를 유지하며 원하는 객체로 바꿀 수 있습니다.
• Adding a New Phrase: 프롬프트에 새로운 텍스트 추가로 스타일이나 속성 변화
  • 예: "a castle next to a river" → "a children drawing of a castle next to a river"
• Attention Re-weighting: 어떤 단어의 중요도를 조정해 텍스트의 영향을 줄이거나 강화합니다.
  • 예: "snowy mountain"의 "snowy" 정도를 조정해 눈의 양을 조절합니다.
• Real Image Editing: 실제 이미지를 diffusion 모델로 inversion(변환) 하고 텍스트로 수정합니다.

 

▶ 이 모든 것이 간단한 인터페이스(텍스트 프롬프트 수정)로 이루어진다는 게 기존 마스킹 기반 방법보다 훨씬 직관적이고 강력한 접근 방식입니다.

 

 

Method

위의 이미지는 이 논문에서 사용하는 Method 의 Overview 입니다. 

그림을 보면 알 수 있듯이, Cross-Attention 을 사용하는데 Query 는 Pixel (이미지)에서 Key 와 Value 는 Tokens (텍스트) 에서 가져오게 됩니다.

• Word Swap 의 경우, Source image Map Mt를 Target image Map인 Mt*로 교체합니다.
• Adding a New Phrase 의 경우, Mt*를 Mt의 바뀌지 않는 부분에 주입해줍니다.
• 단어의 중요도를 줄이거나 늘리는 부분은 Attention Re-weighting 을 통해 구현합니다.

 

 

 

• I : text-guided diffusion model 로 만들어진 이미지
• I* : edited image
• P : text prompt
• P* : edited text prompt
• s: random seed

 

만약 attention maps 이 고정되지 않는다면(Bottom) completely different image with a different structure and composition.

위의 그림에서 Top 은 attention weights 가 주입되었고, Bottom은 주입되지 않았습니다.

이를 통해 생성된 이미지의 structure 와 appearances 가 random seed 뿐만 아니라 diffusion 과정에서의 픽셀과 텍스트 임베딩 사이의 상호작용에도 depend on 이 되어있음을 확인할 수 있습니다.

=> cross-attention 층에서 일어나는 pixel-to-text 의 상호작용을 수정하면 Prompt-to-Prompt Editing 을 구현할 수 있겠네!

 

<Cross-Attention in text-conditioned Diffusion Models>

1. Cross-attention의 기본 구조

Cross-attention은 텍스트(프롬프트)와 이미지의 공간적 특징(픽셀 정보) 사이의 연결 관계를 학습하는 메커니즘입니다.
이 과정에서 Query (Q), Key (K), Value (V)라는 세 가지 주요 요소가 사용됩니다.

• Query (Q): 이미지의 픽셀 특징을 표현하는 벡터
• Key (K): 텍스트 프롬프트에서 추출된 토큰의 특징을 표현하는 벡터
• Value (V): 텍스트 프롬프트의 정보 자체 (즉, 토큰의 표현)

 

2. Attention의 수식 표현

Attention은 각 Query가 어떤 Key에 얼마나 주목할지(관련성이 얼마나 큰지)를 가중치(Attention Map)로 계산합니다.

• M은 Attention Map으로, 각 픽셀이 텍스트 토큰에 얼마나 집중하는지(가중치)를 나타냅니다.
• d는 차원 수로, 안정적인 계산을 위해 사용됩니다.

 

3. Cross-attention Output M⋅V

이제 Attention Map M을 Value V에 적용하면 Cross-attention Output ϕ^(zt)=M⋅V 를 얻습니다.
이 값이 최종적으로 이미지 내 픽셀 위치와 텍스트 토큰 간의 연결을 정의합니다.

• M⋅V는 Value V의 가중 평균 (weighted average)을 구하는 과정입니다.
• Mij 는 i번째 픽셀이 j번째 텍스트 토큰과 얼마나 강하게 관련이 있는지 나타냅니다.
• 결과적으로, 특정 텍스트 토큰이 이미지 내 특정 픽셀들에 얼마나 영향을 미치는지 조절할 수 있게 됩니다.

 

예를 들어, "A red car on the street" 라는 프롬프트에서:

• "red" 라는 텍스트 토큰의 Attention Map은 차체 부분의 픽셀에 집중적으로 영향을 줍니다.
• 이때 M⋅V는 "red" 가 차체에 빨간색을 적용하도록 유도하는 역할을 합니다.

 

여기서 잠깐, 헷갈리는 부분을 짚고 넘어가 봅시다...

• Self-attention: 입력 내부에서 각 요소가 다른 요소와 얼마나 관련이 있는지를 계산
  • 예: 이미지의 픽셀 간의 상관관계를 계산할 때 사용 (이미지 내에서 지역적 정보를 확장)
• Cross-attention: 서로 다른 두 입력 간의 관계를 계산
  • 예: 텍스트 토큰과 이미지의 픽셀이 얼마나 관련이 있는지를 계산

 

 

🌱 Diffusion 모델에서의 Self-attention과 Cross-attention

Diffusion 기반 텍스트-이미지 생성 모델 (예: Imagen, Stable Diffusion)에서는 Transformer-like 구조를 사용하지만, 동작 방식에 몇 가지 차이가 있습니다.

Encoder-Decoder 구분이 명확하지 않음

• Diffusion 모델에서는 U-Net 구조를 사용하며, 이것이 Encoder-Decoder 역할을 수행합니다.
• Self-attention과 Cross-attention이 서로 다른 레이어에서 사용되거나, 같은 레이어에서 함께 사용 (Hybrid Attention)되기도 합니다.

Self-attention과 Cross-attention의 동작 흐름

• Encoder-like (저해상도 생성): Self-attention 중심
  • 입력 이미지의 공간적 특징을 추출하면서 픽셀 간 관계를 계산합니다.
  • Cross-attention은 이 단계에서 텍스트-이미지 초기 매칭을 수행합니다.
• Bottleneck (중간 단계): Self-attention + Cross-attention 결합 (Hybrid)
  • 텍스트와 이미지의 관계를 깊이 학습합니다.
• Decoder-like (고해상도 복원): Cross-attention 강화
  • 텍스트 프롬프트에 맞춰 세부 디테일 수정 및 스타일 반영을 수행합니다.

 

 

<Controlling the Cross-attention>

• 생성된 이미지의 spatial layout 과 geometry는 cross-attention 에 의존합니다. 위의 figure 4를 보면 알 수 있습니다.
• figure 4의 bottom row 를 보시면, 이미지의 구조는 이미 이른 단계의 diffusion 과정에서도 나타납니다.

 

위의 알고리즘은 텍스트 편집을 기반으로 이미지를 재생성하되, 기존 이미지의 구조를 최대한 유지하는 것이 목적입니다.

• 입력된 이미지 I 와 원래 텍스트 프롬프트 P 가 주어졌을 때, 텍스트 프롬프트를 편집한 P∗ 를 사용해 편집된 이미지 I∗를 생성합니다.
• Cross-attention map을 수정하여 원래 이미지의 공간적 구조를 유지하면서도 텍스트에 따른 변화를 반영합니다.
• Diffusion 프로세스 중간에 Cross-attention map을 injection하여 기존 이미지의 구성 요소를 보존합니다.

단계별 설명을 해보겠습니다.

• 초기화 (Line 1~4)
  Random seed s 를 사용해 노이즈 zT를 생성합니다. 이 노이즈는 Diffusion 모델의 초기 입력입니다.
  • zT∗ ← zT: 동일한 노이즈로 원래 이미지와 편집된 이미지를 생성합니다.
• Diffusion Reverse Process (Line 5~10)
  T 부터 1 까지 역방향으로 Diffusion 과정을 수행하며 두 프롬프트 P 와 P* 를 동시에 처리합니다.
  • Line 6: Mt​ 계산
    • 원래 프롬프트 P 로부터 현재 단계 t에서의 Cross-attention map Mt 를 계산합니다.
  • Line 7: Mt* 계산
    
    • 수정된 프롬프트 P* 로 부터 Cross-attention map Mt* 를 계산합니다.
  • Line 8: Edit 함수 적용
    • Edit 함수 Edit(Mt,Mt∗,t) 를 사용해 두 Cross-attention map을 결합합니다.
    • 예: 특정 단계까지만 Mt를 사용하고 이후에는 Mt∗ ​를 사용해 점진적 변화를 만듭니다.
  • Line 9: Mt∗​를 Injection
    • 기존 Mt 대신 수정된 Mt∗ 를 사용해 노이즈를 업데이트합니다. 이를 통해 편집된 이미지 I∗가 기존 이미지의 구조를 최대한 유지합니다.
• 최종 출력 (Line 11)
  • 두 개의 이미지 z0 (원래 이미지)와 z0∗​ (편집된 이미지)를 반환합니다.

 

Diffusion 과정에서 두 프롬프트를 동시에 처리하며 Cross-attention 을 조작해 원하는 편집 효과를 얻지만, 동일한 출력을 위해서는 랜덤 시드를 반드시 고정해야 됩니다.

 

이제 Edit 함수를 자세히 살펴봅시다.

1. Word Swap
   1. 원본 이미지의 구성을 유지하면서도 새로운 프롬프트의 변화사항을 잘 처리해야됩니다.
   2. 이를 위해 source image 의 attention maps 를 수정된 프롬프트와 함께 생성과정에 주입합니다. 
      

      

      Diffusion의 Back process 단계 (위의 식)
      •   t < τ (후기 단계):
        •   Mt∗​ (수정된 Cross-attention map)을 사용합니다.
        •   이 시점에서는 이미지가 거의 완성되었기 때문에 새로운 단어의 디테일(텍스처, 색상, 세부 모양)을 반영합니다.
        •   예: "bicycle"의 디테일이 "car"의 디테일로 바뀜.
      • t ≥ τ (초기 단계):
        •   Mt​ (기존 Cross-attention map)을 사용합니다.
        •   초기 단계에서는 이미지의 전반적인 공간적 구성과 큰 형태를 기존 이미지에서 유지합니다.
   3. Alignment Function 의 역할
      •   프롬프트에서 두 단어가 서로 다른 개수의 토큰으로 표현될 때 Alignment Function 이 사용됩니다.
      •   "car" → "sports car"
        •   "car"는 하나의 토큰, "sports car"는 두 개의 토큰으로 표현될 수 있습니다.
        •   이때 Cross-attention map을 중복하거나 평균하여 두 개의 토큰이 원래 이미지의 동일한 부분에 대응되도록 합니다.
2. Adding a New Phrase
   1. 프롬프트에 새로운 단어(또는 문구)를 추가해 이미지를 새로운 스타일로 변형하거나 속성을 추가하는 방법입니다
      

      

      
      
      •   Adding New Phrase 는 기존 프롬프트와 새 프롬프트의 토큰을 정렬(align) 하는 과정이 필요합니다.
      •   Alignment Function A(j) 는 두 프롬프트의 토큰을 비교하고, 새로 추가된 토큰만 골라냅니다.
      •   A(j)는 새 프롬프트의 토큰 j가 기존 프롬프트에 대응하는 토큰이 있는지 확인합니다.
      •   i는 픽셀 위치, j는 텍스트 토큰의 인덱스
      •   None이면 새로 추가된 토큰이므로 Mt∗ 를 사용합니다.
      •   기존 토큰에 대응할 경우 Mt 를 유지합니다.
   2. 예시
      •   Original Prompt: "A castle next to a river"
          Edited Prompt: "A children’s drawing of a castle next to a river"
      •   "castle", "next", "river" → 기존 단어이므로 Mt​ 유지
      •   "children’s drawing" → 새로 추가된 표현이므로 Mt∗ 로 반영
3. Attention Re-weighting
   1. 텍스트 프롬프트 내 특정 단어의 중요도(영향력)를 조절하는 방식입니다.
   2. Attention Re-weighting은 특정 단어에 해당하는 Cross-attention map을 조정해 해당 단어의 영향을 증가 또는 감소시키는 방식입니다.
      •   j* : 사용자가 선택한 특정 단어의 토큰 인덱스
      •   c: 가중치 조정 파라미터 (c>1 이면 강화, 0<c<1 이면 약화, c<0 이면 반대방향으로 강화) ∈ [−2, 2]