[Paper Review] Wonder3D: Single Image to 3D Using Cross-Domain Diffusion

https://arxiv.org/abs/2310.15008

Wonder3D: Single Image to 3D using Cross-Domain Diffusion

 

이 논문에서 제시하는 Wonder3D 는 다중 시점 일관성을 유지하는 법선 맵(normal maps) 과 색상 이미지를 생성하여 단일 이미지 기반 3D 복원을 수행합니다.

 

문제 정의:

• 단일 이미지에서 3D 기하학을 복원하는 것은 그래픽스, VR, 게임, 로봇 등 다양한 분야에서 중요한 문제
• 하지만 이 문제는 ill-posed(불완전 정의) 되어 있어, 보이지 않는 부분까지 예측해야 함
• 2D 확산 모델을 기반으로 한 기존 방법들이 등장했지만, 효율성과 일관성 문제가 존재

 

기존 연구 문제점:

• Score Distillation Sampling(SDS) 기반 모델: 최적화 과정이 오래 걸림 (수십 분~수 시간 소요)
• 2D 기반 모델: 각 뷰를 독립적으로 생성 → 다중 시점에서 일관성 문제(Janus 문제) 발생
• 3D 직접 생성 모델: 학습 데이터 부족으로 범용성이 떨어짐
• 다중 시점 이미지 생성 모델(SyncDreamer, MVDream): 색상 정보만 활용하여 법선 정보 부족

 

 

Contribution

• Multi-view cross-domain 2D diffusion (다중 시점 교차 도메인)
  • nomal maps 와 color images 를 예측한다.
  • 3D 표면의 세부 정보를 효과적으로 포착
• Cross-domain attention mechanism (교차 도메인 어텐션) 
  • 다중 시점에서 일관된 법선 맵과 색상 이미지 생성
• Geometry-aware normal fusion algorithm (지오메트리 인식 법선 융합)
  • 생성된 법선 맵과 색상 이미지에서 깨끗한 3D 형상 추출 가능

 

 

Related Works (관련 연구)

2D 확산 모델을 이용한 3D 생성

• DreamFusion, Magic3D 등은 2D 확산 모델을 이용해 3D를 생성하지만, 최적화 과정이 오래 걸리고, 일관성이 부족

3D 생성 모델

• Point Clouds, Meshes, Neural Fields 등 직접 3D를 생성하는 모델 존재
• 하지만 3D 데이터 부족으로 인해 특정 카테고리에서만 동작

다중 시점 확산 모델(Multi-view Diffusion Models)

• SyncDreamer, MVDream 등은 다중 시점에서 일관성을 개선하려 하지만, 텍스처 정보만 활용하여 법선 정보 부족

 

 

Problem Formulation (문제 정의 및 모델 설계)

기존 3D 자산 표현 방식 문제

• 기존 연구들은 3D 데이터를 직접 학습(NeRF, SDF, Mesh, Point Cloud) 하거나, 단일 뷰 기반 학습을 수행
• Wonder3D는 3D를 직접 학습하지 않고, "다중 시점 법선 맵 & 색상 이미지"의 공동 분포(Joint Distribution)를 학습
  

  

• f(y,π1:K) (생성 함수)
  

  

  • 입력: 단일 이미지 y 와 카메라 정보 π1:K
  • 출력: 다중 시점 법선 맵 n1:K 과 색상 이미지 x1:K
  • 즉, 이 함수는 단일 이미지에서 여러 시점(View)으로 확장된 2D 표현을 생성하는 역할
    
  • π1:K (카메라 시점 정보)
    • K개의 카메라 파라미터(각도, 위치 등) 집합
    • 다중 시점에서의 2D 법선 맵과 색상 이미지를 생성하려면 각 시점(View)에서의 좌표계를 알아야 함

•  

 

Wonder3D의 수학적 표현

• 확산 모델의 마르코프 체인 기반 확률 분포로 모델링
• 크로스 도메인 확산(Cross-Domain Diffusion)을 통해 법선 맵과 색상 이미지를 동시에 생성
  

  

• 확산 모델에서 데이터는 처음에 완전한 가우시안 노이즈 상태에서 시작
• 이후 t 에서 t-1 로 점진적으로 노이즈를 제거하면서 점점 더 선명한 법선 맵과 색상 이미지를 복원
• 최종적으로 t=0 단계에서는 깨끗한 다중 시점 법선 맵과 색상 이미지가 생성
• 마르코프 체인의 속성을 활용하여, 각 단계에서의 변환이 직전 단계에만 의존하도록 설계

 

Method

뿽이~ 부엉 부엉~~

Overview 는 다음과 같습니다.

1. 다중 시점 확산 모델(Multi-view Diffusion Scheme) 적용
   • 다중 시점에서 법선 맵과 색상 이미지를 생성
   • 멀티뷰 어텐션(Multi-view Attention) 을 통해 시점 간 일관성 유지
2. Multi-view attentions => 도메인 스위처(Domain Switcher) 도입
   • 기존 확산 모델(예: Stable Diffusion)은 단일 도메인(이미지) 기반
   • 도메인 스위처를 활용해 법선 맵 & 색상 이미지 두 도메인에서 동작 가능
   • 기존 사전 학습된 모델을 재학습 없이 활용 가능 → 범용성이 높아짐
3. 크로스 도메인 어텐션(Cross-Domain Attention) 도입
   • 법선 맵과 색상 이미지 간 정보 교환을 통해 기하학적 & 시각적 일관성 유지
4. 기하학 기반 법선 융합(Geometry-aware Normal Fusion) 적용
   • 다중 시점 법선 맵과 색상 이미지를 결합하여 고품질 3D 형상 복원

 

 

Consistent Multi-view Generation

기존 2D 확산 모델은 각 이미지를 개별적으로 생성하기 때문에 다중 시점 간 기하학적 & 시각적 일관성이 부족한 문제가 있다. 이를 해결하기 위해, Wonder3D는 다중 시점 정보를 공유하는 어텐션 메커니즘을 활용하여 일관성을 향상시킨다.

• 다중 시점 정보 공유를 위한 어텐션 메커니즘 활용
  • 기존 Self-Attention 을 확장하여 글로벌 어텐션(Global-aware Attention) 적용
  • 각 시점(View) 간 Key-Value 를 연결하여 정보 교환 강화
    • Query: 특정 시점(View)의 픽셀
    • Key/Value: 같은 도메인(법선 or 색상) 내의 다른 시점(View) 픽셀
  • 즉, 한 시점에서 얻은 정보가 다른 시점의 이미지 생성에도 반영되도록 함
• 어텐션을 통해 다중 시점 간의 의존성을 학습
  • 모델이 다중 시점 간 공통적인 특징을 인식할 수 있도록 학습
  • 그 결과, 일관된 다중 시점 색상 이미지 & 법선 맵 생성 가능!

 

 

Cross-Domain Diffusion

Naive Solutions

 

• 기존 Stable Diffusion 모델은 단일 도메인(이미지) 생성 전용으로 설계됨
• Wonder3D에서는 법선 맵(Geometry)과 색상 이미지(Color) 두 가지 도메인을 다뤄야 함
• 따라서, Stable Diffusion을 어떻게 다중 도메인으로 확장할 것인지가 핵심 과제

단순한 해결책(하지만 한계가 있는 방법들)

1. 출력 채널을 확장하는 방법
   • UNet의 출력에 법선 맵을 추가하는 방식(채널 수 확장)
   • 그러나, 기존 모델의 사전 학습된 가중치(Pre-trained Weights)가 손상될 위험 → 학습 속도가 느려지고 범용성이 떨어짐
2. 2단계 훈련 방법(법선 맵 먼저 생성 후, 색상 이미지 생성)
   • 첫 번째 모델이 법선 맵을 생성하고,
   • 두 번째 모델이 생성된 법선 맵을 기반으로 색상 이미지를 생성하는 방식
   • 하지만, 연산 비용이 크게 증가하고, 성능이 저하됨

 

=> 위 방법들은 현실적으로 효과적이지 않기 때문에 더 나은 방법이 필요!!

 

Domain Switcher

그래서 나오게 된게 바로 도메인 스위쳐!

도메인 스위처 s

• s 는 1차원 벡터
• 법선 맵 생성 시에는 sn값을 사용
• 색상 이미지 생성 시에는 sc값을 사용
• 즉, 어떤 도메인(법선/색상)을 생성할지 구분하는 벡터 역할

도메인 스위처는 어떻게 동작할까?

• 스위처는 위치 인코딩(Positional Encoding)으로 변환
  • 도메인 스위처는 법선 맵/색상 이미지 중 어떤 도메인을 생성할지를 나타내는 정보
  • 위치 인코딩을 통해서 s 를 고차원 벡터로 변환
  • 모델이 이를 이해할 수 있도록 적절한 형태로 변환
• 변환된 스위처의 고차원 벡터를 시간 임베딩(Time Embedding)과 결합하여 UNet에 입력
  • 시간(t단계) 임베딩은 노이즈 제거 단계를 나타내는 정보 
  • 결합된 벡터는 Diffusion 모델의 UNet에 입력으로 제공됨
    • Diffusion 모델이 현재의 노이즈 제거 단계(t)를 알 수 있도록 하기 위해서
  • 이렇게 하면 기존 Stable Diffusion 모델의 구조를 그대로 유지하면서도 두개의 도메인을 생성할 수 있음
• 이렇게 하면 사전 학습된 Stable Diffusion 모델을 그대로 활용하면서도 다중 도메인 적용이 가능

 

 

Cross-domain Attention

하지만, 도메인 스위처만으로는 법선 맵과 색상 이미지 간의 기하학적 일관성이 완벽히 보장되지 않습니다.
→ 이를 해결하기 위해 크로스 도메인 어텐션(Cross-Domain Attention) 을 도입

• 기존 Self-Attention을 확장하여 도메인 간 정보 교환이 가능하도록 설계
• 크로스 도메인 어텐션 층은 UNet의 각 Transformer Block 내에서 크로스 어텐션 전에 추가됨
• 법선 맵과 색상 이미지의 Key-Value를 함께 학습하여 두 도메인이 서로 일관된 정보를 공유할 수 있도록 함

이 방식 덕분에, 색상 이미지와 법선 맵이 기하학적으로 정렬된 상태로 생성됨
✅ 3D 복원 시 왜곡이 줄어들고, 품질이 향상됨

 

 

 

 

Textured Mesh Extraction

이 파트에서는 Wonder3D 가 2D로 생성된 법선 맵과 색상 이미지를 활용하여 3D 기하학적 형상을 복원하는 과정을 설명합니다.

Wonder3D는 Signed Distance Field (SDF) 를 최적화하여 3D 형상을 만들며, 기존 SDF 기반 방법들의 한계를 극복하기 위해 Geometry-aware Optimization(기하학적 최적화 기법) 을 제안합니다.

SDF란?

• SDF는 3D 공간의 각 점이 가장 가까운 표면까지의 부호가 있는 거리(Signed Distance)를 가지는 함수
• 양수이면 표면 바깥, 0이면 표면 위, 음수이면 표면 내부
• SDF 기반 표현은 메쉬보다 더 부드럽고 미분 가능(Differentiable)하여 최적화가 안정적임

기존 SDF 기반 3D 복원 기법의 문제점

• 기존 SDF 기반 기법(예: NeuS)은 실제 촬영된 이미지 데이터를 이용하는 방식이어서 정확한 다중 시점 데이터가 필요
• 그러나, Wonder3D는 생성된(normal generated) 데이터이므로 완벽하게 정밀하지 않음
• 생성된 데이터는 시점이 비교적 적고, 픽셀 수준에서 작은 오차가 존재할 가능성이 있음
• 이로 인해 기존 방법을 그대로 적용하면 기하학적 오류(왜곡, 노이즈, 불완전한 형상)가 누적됨

 

Geometry-aware Optimization

Optimization Objectives.

 

• 객체 마스크(Mask) 추출
  • 2D 법선 맵 & 색상 이미지에서 객체의 영역(마스크) M0:N을 분리
  • 세그멘테이션(Segmentation) 모델을 사용하여 배경과 객체를 분리함
• 3D 공간에서 샘플링된 픽셀 데이터 집합 생성
  • 모든 뷰(Views)에서 랜덤 픽셀들을 샘플링하여 해당 픽셀의 정보(법선, 색상, 마스크, 광선 방향)를 가져옴

 

각 손실 항목 설명

손실 함수	설명
Lnormal​	법선 맵과 SDF 법선 값 사이의 차이를 최소화하는 손실
Lrgb​	생성된 색상 값과 복원된 색상 값의 MSE 손실
Lmask​	마스크 예측 오류를 줄이는 Binary Cross-Entropy 손실
Reik​	Eikonal 정규화: SDF의 그라디언트 크기를 1로 유지하여 올바른 SDF를 생성
Rsparse​	SDF 희소성 정규화: SDF가 불필요한 플로팅 아티팩트(공중에 떠 있는 노이즈)를 방지
Rsmooth​	SDF 부드러움 정규화: 3D 공간에서 SDF 변화가 너무 급격하지 않도록 조정

 

Geometry-aware Nomal Loss.

Wonder3D는 법선 맵을 기반으로 3D 형상을 복원할 때, 부정확한 법선 정보를 보정하는 기법을 적용

• ek​: SDF 법선 gk^과 생성된 법선 gk 사이의 오차 (Cosine Similarity 사용)
• wk(가중치): 뷰 방향( vk )과 법선 벡터 gk 의 각도를 기반으로 다르게 적용
  • 왜 가중치를 적용할까?
    • 동일한 3D 점은 여러 뷰(View)에서 관찰될 수 있음
    • 하지만 모든 뷰에서 생성된 법선 맵이 완벽히 일치하지 않을 수 있음
    • 따라서, 더 신뢰할 수 있는 법선 정보에 더 높은 가중치를 부여하여 기하학적 정확도를 높임

 

 

• vk​ : k번째 샘플의 뷰 방향(Viewing Direction)
• gk​ : k번째 샘플의 법선 벡터(Normal Vector)
• cos⁡(vk,gk) : 뷰 방향과 법선 벡터 사이의 코사인 유사도(각도 관계)
• ϵ: 임계값(Threshold), 작은 음수 값(예: -0.1)
• wk: 해당 픽셀의 신뢰도 가중치(Geometry-aware Weight)

 

🔼 위의 식 경우

• 가중치 = 0
• 즉, 법선 벡터와 뷰 방향이 너무 가까운 경우, 해당 데이터를 신뢰하지 않음
• 법선 벡터는 표현이 바라보는 방향 (outward-facing)이고, 뷰 방향은 카메라 방향(inward-facing)
  • 이 둘의 내적(코사인 값이) 특정 임계값보다 크면, 법선 방향이 잘못되었을 가능성이 높음
  • 따라서 이런 데이터는 무시함

🔽 아래 식의 경우

• 법선 벡터와 뷰 방향이 적절한 경우, 해당 데이터를 더 신뢰함
• 코사인 값이 작을수록(즉, 법선 벡터와 뷰 방향이 더 수직에 가까울수록) 가중치가 커침
• exp 을 사용하여 가중치를 부드럽게 조정

 

 

Outlier-dropping Losses.

법선, 색상, 마스크 정보가 일부 부정확할 수 있기 때문에, 최적화 과정에서 오류가 큰 데이터들을 제거하는 기법을 적용함.

• 단순히 모든 픽셀 손실을 합산하는 것이 아니라, 손실이 큰 데이터(에러가 심한 픽셀)를 일부 제거하는 방식
• 예를 들어, 색상 손실을 계산할 때, 에러가 큰 상위 x%를 버리는 전략 사용
• 오류가 심한 데이터는 신뢰도가 낮기 때문에, 이를 배제하면 더 정확한 3D 복원이 가능

✅ 이 방식 덕분에 최적화 과정에서 왜곡된 형상이나 노이즈(구멍, 이상한 형상)가 줄어든다!