[Paper Review][Workflow Review] DreamFusion: Text-to-3D Using 2D Diffusion

DreamFusion 은 Text input에 3D output을 결과로 하는 논문입니다.

https://dreamfusion3d.github.io/

DreamFusion: Text-to-3D using 2D Diffusion

 

 

정말 간단하게 정리를 하자면,

NeRF 를 사용하여 랜덤한 3D 물체를 렌더합니다.
그리고 text 데이터를 input으로 넣으면 Stable Diffusion 을 이용하여 2D image 를 generate 합니다.
generated 된 이미지와 NeRF 에서 렌더된 3D 이미지의 2D, 그리고 text prompt 를 SDS (Score Distillation Sampling) 를 통해 비교합니다.
해당 SDS Loss 값을 이용하여 gradient 를 back-propagation 에서 계속 업데이트 해나갑니다.
그렇게 3D 데이터를 최적화 해 나갑니다.

 

DreamFusion 결과물

< DreamFusion >

1. 텍스트 입력

- 사용자가 원하는 3D 장면이나 객체를 설명하는 텍스트를 입력합니다.

    - 예: "a chair with a modern design", "a cute cartoonish robot" 

 

2. NeRF 로 3D 장면 표현

- DreamFusion 은 NeRF 를 사용하여 3D 장면을 표현합니다.

- NeRF 는 초기에 랜덤한 상태로 시작합니다.

2-1. NeRF 의 3D 렌더링 과정

- NeRF 는 3D 공간의 각 위치에 대해 밀도(tau)와 색상(rgb)를 계산하는 모델입니다.

- 하지만 NeRF 자체의 출력은 3D 데이터(밀도와 색상)라서 이를 Stable Diffusion 의 2D 이미지와 비교하기 위해 렌더링 과정을 거칩니다. (= 3D 장면을 광선(ray) 단위로 샘플링하고 렌더링한다.)

렌더링(Rendering) 이란?
NeRF 는 랜덤한 카메라 위치와 광선(ray) 를 설정한 뒤, 이 광선을 따라 3D 장면의 밀도와 색상을 샘플링합니다. 
이러한 샘플링 과정을 통해 특정 시점에서 볼 수 있는 장면의 2D 이미지를 생성합니다.
즉, 카메라가 여러 위치에서 관찰한 뷰(Viewpoint)를 생성한다고 생각하면 됩니다.

 

3. Stable Diffusion 으로 Text-Image 관계 모델링

- Stable Diffusion 모델을 활용하여 텍스트 조건에 맞는 2D 이미지를 생성합니다.

- Stable Diffusion 모델에서는 텍스트와 이미지가 공유 임베딩 공간에서 상호 연관되어 있습니다. 따라서, Stable Diffusion 은 입력 텍스트에 적합한 이미지를 생성하는데 강력합니다.

 

4. Score Distillation Sampling (SDS) 도입

- DreamFusion 의 핵심 기법인 Score Distillation Sampling (SDS) 를 사용하여 Stable Diffusion 의 지식을 NeRF의 3D 표현에 전달합니다. 

- SDS 는 Stable Diffusion 에서 생성된 2D 이미지와 NeRF 에서 렌더링된 2D 이미지 간의 차이를 줄이는 방식으로 NeRF를 최적화 합니다.

    - 구체적으로, SDS Loss 가 계산되는 과정,

        1. NeRF 에서 2D 이미지 렌더링

        2. Stable Diffusion 으로 텍스트 기반 이미지 생성

        3. Stable Diffusion 의 Score Function 사용 
: Stable Diffusion 의 내부 모델은 텍스트 조건과 이미지가 얼마나 잘 부합하는지 평가합니다. 이 평가는 Stable Diffusion 의 U-Net 을 통해 이루어지며, 텍스트 조건에 따라 생성된 이미지를 학습된 임베딩 공간에서 해석합니다.

        4. SDS Loss 계산
          : 

위의 식은 SDS Loss 를 계산하는 값이 아닌, SDS Loss 의 최적화를 위한 Gradient 계산을 설명합니다. 

- Lsds 는 SDS Loss 이고 특정 시간 단계 t 에 대한 NeRF 의 출력(ε)과 stable diffusion 의 scoring 결과(ε ϕ^(zt;y,t)) 간의 차이를 측정하는 손실값, 이 score 는 텍스트 조건에 따른 "노이즈 제거 방향" 을 나타냄

- ϕ 는 Stable Diffusion 모델의 파라미터(사전 학습된 모델로써, 고정된 값)

- 결국, Stable Diffusion 은 NeRF 가 렌더링한 2D 이미지를 임베딩 공간에 넣어 이 이미지가 텍스트 조건에 얼마나 부합하는지 평가합니다. 여기서 NeRF 2D 렌더링 결과가 텍스트 조건에 부합하지 않은 경우, 높은 Loss 값이 반환 됩니다. (NeRF 렌더링 이미지와 Stable Diffusion 이미지가 픽셀 단위로 직접 비교되지 않고 임베딩 공간에서 간접적으로 비교됩니다.)

5. 3D 장면(NeRF) 최적화

- Gradient Back-Propagation 을 진행할때 SDS Loss 을 통해 NeRF 의 파라미터를 점진적으로 조정합니다.

- 이를 반복적으로 수행하여 NeRF 의 밀도와 색상을 텍스트 조건에 맞게 최적화합니다.

1. NeRF의 밀도, 색상:
- 밀도와 색상은 NeRF 가 계산하고 생성하는 출력 값 
    - 밀도: 해당 3D 좌표에서의 물체의 존재 여부(밀집 정도)를 나타냄. 표면의 경계나 투명도 같은 정보와 연결
    - 색상(rgb): 해당 3D 좌표의 색상 정보를 나타냄
- 이 값들은 NeRF 의 파라미터를 사용해 계산된 결과. 즉, 파라미터의 값에 따라 밀도와 색상은 변함

2. NeRF의 파라미터:
- NeRF 모델 자체의 네트워크 가중치(weight) 와 바이어스(bias) 를 말함.
- 이 파라미터는 신경망의 학습 가능한 값으로, 최적화 과정(Gradient Back-propagation) 을 통해 조정됨
- 밀도와 색상은 입력 3D 좌표와 NeRF 파라미터를 통해 계산된 결과 값일 뿐, 직접 업데이트되는 값은 아님
    - 즉, 파라미터가 바뀌면 밀도와 색상은 바뀜

 

6. Bounding Sphere 로 장면 범위 제한

- NeRF 가 학습할 때 장면의 크기를 제한하기 위해 Bounding Sphere 를 사용합니다.

bounding sphere

- 이는 NeRF 가 카메라 근처의 불필요한 밀도(density) 를 생성하지 않도록 하고, 장면 중심부의 객체에만 집중할 수 있도록 합니다 

- 샘플링한 구의 표면의 점에서 구의 원점을 바라보게 Look at

- Focal length는 w(=width=64) 에 0.7~1.35로 균등하게 나눈 상수 감마 값을 곱함

- Light 의 위치는 카메라 위치를 중심으로 한 확률분포로부터 sampling

 

7. 배경 처리

- 장면외곽(background) 처리는 Stable Diffusion 에서 별도 MLP 를 통해 생성된 환경맵(environment map)을 활용합니다.

- NeRF 로 생성된 객체와 배경을 결합하여 자연스러운 결과물을 제공합니다.

 

8. 최종 결과: 텍스트에 기반한 3D 모델

- 최적화된 NeRF 는 다양한 각도에서 일관된 3D 모델을 생성할 수 있습니다.

- 최종 3D 모델은 텍스처, 조명, 그림자가 적용된 상태로 렌더링됩니다. 

- Limitation:

    - 세부 표현 한계, 디테일이 부족할 수 있습니다.

    - NeRF의 최적화 과정은 계산비용이 크고 시간이 오래걸릴 수 있습니다.

    - Stable Diffusion 의존성... Stable Diffusion 의 텍스트-이미지 관계 학습 수준에 따라 결과물이 제한될 수 있습니다.

 

<3D 모델의 품질을 개선하고, 표면의 디테일과 렌더링 결과의 사실감 높이기....>

위의 순서에서 2. NeRF 3D rendering에 해당하는 내용입니다.

조명과 법선 벡터의 역할

1. Normal Vector

- 계산: NeRF 는 3D 장면의 밀도를 학습합니다. 이 밀도는 3D 공간에서 물체의 표면을 암시적으로 나타내며, 이 밀도의 그래디언트를 통해 법선 벡터를 계산할 수 있습니다.

여기서 ∇μ​τ 는 밀도(τ)의 공간 좌표(μ​) 에 대한 변화율을 regularization 한 것 입니다. 

- 활용: 법선 벡터는 표면의 방향성을 나타내므로, 조명 효과(그림자, 하이라이트 등)를 계산하는데 사용됩니다. DreamFusion 의 최적화 과정에서 표면의 디테일을 더욱 부각시키고, 물체의 구조를 학습하는 데 기여합니다.

화살표가 가르키는 방향은 Nomal Vector 로 표면의 방향(Orientation) 을 나타낸다.

 

2. 조명(Lighting)

- light 3D point 좌표 l 에서 발산되는 조명 색상 lp 과 ambient 조명 색상 la 를 가정하여 Diffuse reflectance(입사각과 동일하지 않은 반사각을 갖는 반사)가 아래수식으로 고려되어, 

최종적인 color C 를 계산하게 됩니다.

여기서, 랜덤하게 rgb albedo ρ 를 white color (1, 1, 1) 로 바꾸어주게 되면, 텍스처가 없는 shaded output 을 만듦으로써 성능이 향상되게 됩니다. 

Text condition 을 만족시키지만 flat 한 geometry 가 그려질 수 있는데, 해당 방법을 통해 3D 형태로 만들어지게 합니다.

 

해당 논문에서는 Sampling한 camera pose, light position을 이용해서 64x64 해상도로 shade 된 NeRF를 렌더링했습니다.

기존 NeRF 와 다른 점은 3가지의 rendering 방법을 랜덤하게 사용한다는 점입니다.

1) shading 없이 albedo ρ 로 렌더링(최초의 NeRF와 동일)

2) shading 하여 렌더링

3) albedo ρ 를 white 로 바꿔서 shading 하여 렌더링 (which means Textureless)

=> albedo 는 조명이나 그림자의 영향을 받지 않는 물체의 순수한 색상 정보입니다. 
albedo 를 white 로 바꾸면 모델은 더 이상 텍스쳐 기반의 정보에 의존하지 않고 빛과 그림자(shading) 가 만들어내는 기하학적 정보를 학습할 수 있습니다. 

1) 번 방법의 경우, 평평한 3D 모델을 렌더링하여도 점수가 높게 나옵니다.

그래서 2), 3) 번 방법을 이용해서 평평하지 않고 볼륨이 있는 3D 모델을 만들 수 있게끔 합니다.

Top: albedo, Middle: shaded, Bottom: Textureless

(iv)는 Rendering without color helps to smooth the geometry, but also causes some color details like the skull and crossbones to be carved into the geometry 로, 3)번 방법의 타당성을 보여주는 그림 입니다.

 

 

이제 마지막으로 Overview 로 복습하며 마무리 하도록 하겠습니다.

overview는 xoft 님의 블로그를 참고하였습니다. https://xoft.tistory.com/39

DreamFusion pipeline

sudo code 로 살펴보자면

## Training Process
random weight 로 NeRF 를 initialization
For iteration in range(15000):
    1. random한 camera 위치와 각도, random 한 light 위치와 색상을 sampling
    2. NeRF로 이미지를 rendering
    3. NeRF parameter 들과 text-embedding 값으로 SDS(Score Distillation Sampling) Loss 계산
    4. NeRF 의 weight 를 update

## Test Process
학습된 NeRF weight 로 특정 camera 위치, 각도에서 NeRF 이미지를 합성

 

 

긴 글 읽어주셔서 감사시마스.... 그냥 개인 공부용이긴 해요...