[Paper Review] ThemeStation: Generating Theme-Aware 3D assets from Few Exemplars

https://arxiv.org/abs/2403.15383

 

 

 

문제 정의

 

• 가상현실(VR)이나 비디오 게임에서는 테마적으로 일관성 있는 동시에 다양한 3D 모델을 대량으로 생성해야 함.
• 숙련된 장인은 하나 또는 몇 개의 3D 모델을 만드는 것은 쉽지만, 대량의 3D 모델을 만드는 것은 어렵고 시간이 많이 걸림.
• 기존의 3D 생성 모델들은 입력 정보(텍스트, 이미지)가 제한적이어서 3D 모델이 모호하거나 일관성이 부족한 문제가 있음.

 

이 논문에서는 입력 3D 예제들과 일관된 테마를 유지하면서 맞춤형 3D 에셋을 생성하는 것이 어려운 문제라고 언급합니다.

1️⃣ 스타일 & 테마 유지의 어려움

• 입력된 3D 모델들이 모두 조금씩 다른 디자인을 가질 수 있음.
• 예를 들어, 어떤 모델들은 더 각진 스타일이고, 어떤 모델들은 부드러운 곡선을 가질 수도 있어.
• 새로운 3D 애셋을 만들 때, 어떤 스타일을 유지할지 결정하는 것이 쉽지 않음.
• 예시:
  • 여러 개의 판타지 스타일 건축물(예: 성, 탑, 집)이 주어졌을 때,
  • 동일한 스타일을 유지하면서도 새로운 건축물을 생성하는 것은 쉽지 않음.
  • 생성 모델이 너무 보수적이면 기존 모델과 너무 비슷해지고,
  • 너무 창의적이면 원래 스타일에서 벗어나게 됨.

2️⃣ 구조적 일관성 문제

• 3D 모델은 단순한 이미지가 아니라 **정확한 기하학적 구조(geometry)**를 가져야 함.
• 새로운 3D 애셋이 기존 예제들과 유사한 구조를 가져야 하지만, 단순한 복사(copy)는 아니어야 함.
• 예를 들어, 여러 개의 차량 모델을 보고 새로운 차량을 생성할 때,
  • 휠, 문, 창문, 차체 비율 등의 구조적 일관성을 유지해야 하지만
  • 기존 모델들과 완전히 동일해서도 안 됨.
• 예시:
  • 몇 개의 3D 가구 모델(예: 의자, 책상)이 주어졌을 때,
  • 같은 스타일을 유지하면서도 새로운 의자를 만들려면,
  • 의자의 다리 개수, 높이, 쿠션 두께 등을 고려해야 함.

3️⃣ 텍스처 & 디테일 조합의 어려움

• 단순히 3D 형태(geometry)만 비슷하게 만드는 것이 아니라,
  재질(Material)과 텍스처(Texture)도 고려해야 함.
• 예제 3D 모델들이 서로 다른 텍스처(예: 나무, 금속, 플라스틱)를 사용하고 있다면,
  • 새로운 3D 모델이 어떤 재질을 가져야 할지 결정하는 것이 어려움.
• 특히, 고해상도 디테일이 필요할 경우,
  • 모델 표면의 세밀한 질감까지 반영하는 것이 더 어려움.
• 예시:
  • 입력 예제가 모두 "목재 가구"라면, 새로운 가구도 목재 질감을 유지해야 하지만
  • 단순히 기존 가구의 텍스처를 복사하는 것이 아니라, 새로운 디자인에 자연스럽게 적용해야 함.

5️⃣ 자동화된 방법론 부족

• 현재까지의 3D 생성 모델(예: GAN, Diffusion Model)은 주로 개별적인 스타일을 생성하는 데 초점이 맞춰져 있음.
• 하지만, 기존의 여러 개의 예제를 보고 "일관성 있는" 새로운 3D 모델을 생성하는 기법은 아직 완벽하지 않음.
• 2D 스타일 트랜스퍼(Style Transfer) 같은 기법이 3D에서는 덜 효과적일 수 있음.
• 예시:
  • 2D에서는 "화가의 그림 스타일"을 새로운 이미지에 적용하는 것이 가능하지만,
  • 3D에서는 모델의 구조까지 고려해야 하기 때문에 훨씬 어려움.

 

ThemeStation 에서는 입력된 몇 개의 3D 예제(Examplars) 를 기반으로 새로운 3D 에셋을 생성하는데, 두가지 목표를 가지고 있습니다.

• Unity (통일성)
  • 생성된 3D 에셋이 주어진 예제들과 테마적으로 일관성을 유지해야 함.
  • 즉, 새로운 3D 모델이 기존 예제들과 같은 스타일, 분위기, 형태적 특징을 가져야 함.
  • 예를 들어, 판타지 스타일의 성(Castle) 예제들이 입력되면, 새로운 3D 에셋들도 같은 판타지 느낌을 유지해야함
• Diversity (다양성)
  • 생성된  3D 에셋들이 너무 똑같으면 안 되므로, 다양성을 극대화해야함
  • 즉, 같은 테마 안에서도 여러 가지 변화(variation) 가 있는 모델을 만들어야한다.
  • 예를 들어, 같은 판타지 성을 만들더라도, 고딕 스타일, 마법사 스타일, 중세 스타일 등 다양한 디자인 요소를 적용할 수 있어야 함.

 

 

Exemplars(예제)란?

• ThemeStation 이 참고하는 몇 개의 3D 모델(입력 예제들) 을 의미
• 이 예제들을 기바능로 새로운 3D 에셋을 만들 때, 스타일과 테마를 정하는 기준이 됨

 

 

Text Prompts 와 Images 에 비해서 3D exemplars 는 더욱 풍부한 정보를 가지고 있습니다. 

3D exemplars 는 Geometry 와 Appearance source 를 가지고 있고, 이게 3D modeling 의 모호성을 줄여줍니다!

 

이전 연구들(Sin3DM, Sin3DGen)에서는 Simply training a generative model on a few limited variation 이었기 때문에 limited variation 을 보입니다. 그저 input 모델을 resizing 하거나 repeating randomly 를 진행할 뿐입니다. 

 

이 문제를 해결하기 위해서 ThemeStation 에서는 two-stage generative scheme 를 사용합니다. 

첫번째로는 concept art 를 그리고 그 다음에 progressive 한 3D modeling 을 사용해서 3D로 만듭니다.

 

First Stage : 개념 아트 생성 (Concept Art Generation)

• 기존의 이미지 Diffusion 모델을 Fine-Tuning하여 입력 3D 모델을 기반으로 다양한 컨셉 이미지를 생성.
• 기존 기법(예: DreamBooth, LoRA)과 달리, 단순히 특정 객체를 재현하는 것이 아니라 새로운 주제(subject)를 포함한 테마적인 이미지를 생성하도록 학습.

 

Second Stage : 3D 모델 생성 (3D Asset Generation)

• 생성된 컨셉 이미지를 3D 모델로 변환하면서, 입력된 3D Exemplars를 보조 정보로 활용하여 모델링 진행.
• 기존 이미지-to-3D 방법과 다르게, 컨셉 이미지는 단순 가이드 역할을 하고, 입력 3D 모델에서 얻은 추가적인 기하학적 정보(geometry)와 다각도 정보(multi-view appearance)를 반영하여 더 정교한 3D 모델 생성.

 

핵심 기술: Reference-informed Dual Score Distillation (DSD)

두 가지 Diffusion 모델을 활용하여 생성 과정의 품질을 향상합니다.

• Concept Prior: 컨셉 이미지에서 전체적인 구조를 보존하도록 가이드.
• Reference Prior: 입력 3D 예제에서 세부적인 디테일을 반영하도록 가이드.
• Noise Level(노이즈 단계)에 따라 두 가지 Prior을 다르게 적용하여 최적의 3D 모델 생성.
  • 높은 노이즈 단계 → Concept Prior 적용 (전체적인 형태 가이드).
  • 낮은 노이즈 단계 → Reference Prior 적용 (세부적인 디테일 보존).

 

1️⃣ Subject-driven (기존 방식)

• 특정 개체(객체)를 중심으로 학습 → "그 대상과 유사한 변형만 생성 가능"
• 예시:
  • "이 고양이 사진을 보고 고양이를 만들어봐!" 🐱 → 거의 같은 고양이가 나오지만, 약간의 변형만 있음.
  • DreamBooth (Gal et al., 2022) 같은 기법이 대표적.

2️⃣ Theme-driven (ThemeStation 방식)

• 특정 개체를 중심으로 학습하는 게 아니라, 테마(스타일, 분위기 등)를 유지하면서 다양한 객체를 생성.
• 예시:
  • "이 고양이 그림을 참고해서, 고양이 스타일을 유지하면서 다양한 새로운 고양이 캐릭터를 만들어봐!"
  • 즉, 고양이의 특정한 모습이 아니라, '고양이스러운 스타일'을 반영하여 여러 가지 형태의 고양이를 생성.

 

Rework 을 잠시 살펴보자면,

• 3D 생성에서의 Diffusion Prior
  • DreamFusion [Poole et al. 2023]
    • 사전 학습된 텍스트-이미지(T2I) Diffusion 모델에서 이미지 분포의 점수(Score) 를 추출하여 3D를 생성하는 방법 제안.
    • Score Distillation Sampling (SDS) 기법을 도입하여 text-to-3d 성능을 개선
• Exemplar-Based (예제 기반) 3D 생성
  • DreamBooth [Rag et al. 2023]
    • 소수의 이미지만으로 사전 학습된 Diffusion 모델을 Fine-tuning 하여, 특정 객체 중심(Subject-driven) 으로 text-to-3d 생성
    • 하지만, 입력된 이미지의 3D 정보 부족으로 인해 생성된 결과물의 일관성이 부족

 

 

Workflow

Theme-Driven Concept Image Generation

 

• Diffusion 모델을 입력 3D Exemplars의 렌더링 이미지 {xr}로 파인튜닝.
• 기존 모델을 짧은 학습(iteration이 적은 fine-tuning)만으로도 테마를 학습할 수 있음.
• 결과적으로, 새로운 개체(Subjects)를 생성하되, 테마적 일관성을 유지할 수 있음.
• 테마(semantics & style)와 컨텐츠(subject)를 분리하기 위해, 모든 예제에서 공통된 텍스트 프롬프트를 사용.
  • 예시:
    • "a 3D model of an owl, in the style of [V]"
    • 프롬프트에서 "in the style of [V]"를 통해 테마를 유지하는 학습을 유도

 

Reference-Informed 3D Asset Modeling

• 이 단계에서는 앞선 단계에서 생성한 컨셉 이미지를 기반으로 하여 3D 모델링을 진행
• 입력 데이터
  • 1 단계에서 생성된 컨셉 이미지 xc
  • 입력된 3D 예제 모델 (Exemplars) mr
• 목표
  • 컨셉 이미지 xc 를 참고하여 새로운 3D 모델을 생성하되,
  • 입력된 3D Exemplars 를 활용하여 세부 디테일을 보완하고 멀티뷰 일관성을 유지함
• 모델링 과정
  • 초기 3D 모델 생성 (Rough Initial Model Creation)
    • 일반적인 3D 모델링 과정처럼, 기본적인 형태(Primitive model) 에서 시작
    • 컨셉 이미지 xc 를 활용하여 기존 Image-to-3D 기법을 사용해 초기 3D 모델 m_init 을 생성
  • 초기 모델의 한계 및 해결책
    • 초기 모델은 공간적 구조(spatial structure) 불완전하거나 아티팩트(불완전한 요소)가 존재할 가능성이 높음
    • 따라서, 초기 모델을 컨셉 이미지에 엄격하게 맞출 필요는 없음!
    • 대신, 컨셉 이미지 + 초기 3D 모델을 참고해서 최종 3D 모델 m0를 발전시킴
• Dual Score Distillation (DSD) Loss 개념
  • 두 개의 Diffusion Prior 를 활용하여 3D 모델 품질을 개선시키고자 함
  • Concept Prior ( ϕc )
    • 기본적인 컨셉을 유지하도록 가이드
    • 컨셉이미지 xc 에서 얻은 Diffusion Prior 를 사용하여 컨셉을 충실히 반영하는 3D 모델 생성
  • Reference Prior ( ϕr ) 
    • 입력 3D 예제 모델의 세부 디테일을 보존하고, 멀티뷰 일관성을 향상
    • 입력 예제 모델 mr 에서 얻은 Diffusion Prior 를 사용하여 세밀한 특징 복원을 지원

 

Dual Score Distillation (DSD)

Preliminaries.

• DreamFusion
  • Text-to-3D 생성 기법으로, 3D 모델을 최적화하여 주어진 텍스트 프롬프트에 적합한 3D 표현을 생성
  • 3D 표현은 파라미터 θ 를 가지며 g(θ) 를 통해 렌더링된 이미지를 생성
  • g(θ) 는 NeRF(Neural Radiance Fields)와 유사한 렌더링 엔진을 사용하여 다양한 카메라 각도에서 3D 모델을 2D 이미지로 변환함.
  • 즉, 랜더링된 3D 모델이 주어진 텍스트 프롬프트(y)에 맞는 2D 이미지처럼 보이도록 학습
  • Score Distillation Sampling (SDS)
    • 사전 학습된 Text-to-Image (T2I) Diffusion 모델(φ)는 주어진 텍스트 프롬프트(y)에 대해, 랜더링된 2D 뷰(xt)의 노이즈(εφ)를 예측
      

      

      ∂θ/∂x​ : 3D 모델 파라미터(θ)가 이미지(x)에 미치는 영향(즉, 3D 모델을 업데이트하는 방향).

      
      
    • Diffusion 모델이 2D 이미지에서 예측한 노이즈( εφ ) 가 최소화되도록 3D 표현(θ)을 업데이트
• Variational Score Distillation (VSD)
  • SDS 를 개선한 방법으로, VSD 는 3D 표현을 단일한 데이터 포인트로 간주하는 것이 아니라 확률적 변수를 활용하여 생성 다양성을 높임
  • VSD 는 저차원 적응(LoRA; Low-Rank Adaption) 기법을 사용하여 Diffusion 모델을 적응적으로 활용
  • VSD 그라디언트 계산 공식
    

    

    
    
    • εlora: LoRA(Low-Rank Adaptation)를 적용한 T2I Diffusion 모델이 예측한 노이즈.
    • c: 카메라 파라미터(Camera parameter).
    • LoRA를 활용하면, 기존 Diffusion 모델보다 적은 계산량으로 특정한 조건(예: 텍스트 프롬프트)에 맞춰 적응 가능.
    • 즉, VSD는 SDS보다 더 정교하게 노이즈를 보정하며, 텍스트 조건에 더 적합한 3D 모델을 생성할 수 있음.
• SDS 와 VSD 는 하나의 단일 Diffusion 모델에서 학습된 정보를 기반으로 3D 모델을 업데이트함
• 하지만, 만약 서로 다른 diffusion 모델에서 나온 Conflicted Prior 가 있을 경우, 잘 동작하지 않음

 

Learning of concept prior.

• Concept Prior 란 입력된 컨셉 이미지에서 테마적 일관성을 유지하면서 3D 모델 생성에 필요한 핵심 정보를 제공하는 요소
• 즉, 3D 모델을 만들 때 어떤 스타일과 구조를 유지할 것인지에 대한 기준을 학습하는 과정
• 기존 문제점
  • 컨셉 이미지를 기반으로 생성한 초기 3D 모델(m_init)은 품질이 낮음
  • 텍스처(색감, 재질)이 흐릿 => Blurry texture
  • geometry 가 너무 부드러워서 세부적인 디테일이 부족함
• 이를 해결하기 위해 Augmented View 를 활용
  • 초기 3D 모델에서 다양한 시점(view)에서 렌더링된 이미지(x_init) 를 보강(augment) 하여, pseudo-multi-view 이미지(x^_init) 을 생성
  • 즉, 단순히 한개의 컨셉 이미지가 아니라, 다양한 각도에서 본 이미지를 추가로 생성하여 3D 정보 부족 문제 해결

• 여기서 a(.) 는 이미지 변환 (image-to-image translation) 연산
• Augmented Views는 컨셉 이미지의 의도된 3D 구조를 보완하는 역할을 함

 

Learning of reference prior.

• 참조 prior 은 입력된 3D 예제 모델(reference models, mr) 을 기반으로 3D 모델의 세부 디테일과 일관성을 유지함
• 주요 역할은 다음 두가지
  • 텍스처 정보 보존 (Texture Consistency)
  • 정확한 기하학적 구조(Geometry) 유지

학습 과정 ▼

1️⃣ 입력 데이터 (Reference Model을 활용한 2D 데이터 변환)

• 렌더링된 컬러 이미지(xr):
  • 다양한 뷰포인트에서 참조 모델의 텍스처(texture) 정보를 제공
• 렌더링된 노멀 맵(nr):
  • 3D 형상의 미세한 기하학적 디테일(geometry details) 정보를 포함
  • 3D 모델의 표면이 실제로는 평평(flat) 하지만, 노멀 맵을 울퉁불퉁한 디테일이 있는것처럼 보이게 만들 수 있음
  • 노멀 맵은 RGB 색상을 사용하여 각 픽셀에서의 법선 벡터(Normal Vector) 를 저장한다.
• 랜덤한 뷰포인트에서 여러 개의 이미지 생성 → 멀티뷰 일관성 확보

2️⃣ 컬러 이미지와 노멀 맵의 공동 학습 (Joint Usage of Two Types of Rendering)

• 컬러 이미지 → 텍스처(texture) 관련 3D 일관성 유지
• 노멀 맵 → 세밀한 기하학적 디테일(geometry details) 학습
• 두 데이터를 함께 학습하여 보다 정확한 3D 참조 프라이어를 구축!

3️⃣ 이미지 프라이어와 노멀 프라이어 학습 분리 (Disentangling Image Prior & Normal Prior)

• 컬러 이미지와 노멀 맵을 각각 다른 텍스트 프롬프트(yx, yn)로 학습.
• 예제:
  • 컬러 이미지: "a 3D model of an owl, in the style of [V]"
  • 노멀 맵: "a 3D model of an owl, in the style of [V], normal map"
• 이를 통해 각각의 역할을 분리하여 최적의 학습 효과를 얻음.

4️⃣ Diffusion 모델(ϕr​) 학습

• 기존 T2I Diffusion 모델을 입력된 데이터({xr},yx,{nr},yn​)로 파인튜닝하여 참조 프라이어(ϕr)를 구축.
• DSD 에서는 컬러 이미지와 노멀 맵을 각각 따로 학습하지만, 최종적으로는 "하나의 Diffusion 모델"을 파인튜닝하여 Reference Prior( ϕr​ ) 를 구축함
• 즉, Diffusion 모델이 같은 네트워크 구조를 유지하면서도, 입력된 데이터의 유형(컬러 이미지 vs 노멀 맵)에 따라 다른 정보(색상/형상)를 학습할 수 있도록 유도하는 구조

 

=> 3D 모델을 2D 로 변환하는 이유 

• 2D Diffusion 모델들은 풍부한 2D 및 3D 시각적 정보(Prior) 를 이미 포함하고 있음
• 3D 데이터를 2D 로 변환하여 Diffusion 모델의 강력한 학습 능력 활용 가능
• 컬러 이미지와 노멀 맵을 멀티뷰로 제공하면, 3D 정보를 암묵적으로 유지 가능

 

How Does Dual Score Distillation Work?

• 기존 Score Distillation Sampling (SDS) 방식의 문제점
  • 기본적인 SDS 방식에서는 단순히 두 개의 Diffusion 모델(컨셉 프라이어 ϕc 와 참조 프라이어 ϕr)를 사용하여 각각 따로 Score Distillation을 수행한 후 합산하는 방식
  • 하지만, 두 개의 프라이어를 단순히 합하면 최적화 과정에서 충돌(Loss Conflicts)이 발생 → 왜곡된 3D 모델이 생성됨
• DSD(Dual Score Distillation) Loss 의 해결 방법
  • Diffusion 모델의 노이즈 제거(reverse diffusion) 과정에서, 노이즈 레벨(denoising timesteps)에 따라 역할을 나누자!
  • 고주파(High-frequency) 정보와 저주파(Low-frequency) 정보가 다른 단계에서 학습된다는 점을 활용!

 

• High noise level (초기 단계, th​) → 거친 레이아웃(Global Layout)과 색상(Color) 분포를 조절
  • 컨셉 프라이어 ϕc​ 는 전체적인 형태 & 색상을 결정하므로 초기 노이즈 단계(th​)에서 적용
    

    

    
    
    
• Low noise level (후반 단계, tl) → 고주파 디테일(High-frequency Details)을 생성
  • 참조 프라이어 ϕr 는 세부적인 질감(Texture)과 형상을 보존하므로 후반 노이즈 단계(tl​)에서 적용
    

    

• 최종 DSD Loss
  

  

  위와 같이 DSD Loss 를 사용하게 되면
• Loss 충돌 문제 해결 => Noise Level 을 다르게 적용
• 컨셉을 유지하면서도 세부 디테일 보존 => 초기 단계에서는 컨셉을, 후반 단계에서는 세부 디테일을 학습하여 최적의 3D 모델을 생성