[Paper Review] SyncDreamer: Generating Multiview-Consistent Images From a Single-View Image

https://arxiv.org/abs/2309.03453

SyncDreamer: Generating Multiview-consistent Images from a Single-view Image

 

 

 

Abstract

이 논문에서는 SyncDreamer 라는 새로운 확살 모델(diffusion model)을 소개합니다. SyncDreamer는 단일 이미지(Single-View image) 에서 다각도로 일관된 (multiview-consistnet) 이미지를 생성하는 모델입니다.

🔍 기존 문제점 

• Zero123 등의 기존 연구는 2D 확산 모델을 사용하여 단일 이미지를 기반으로 새로운 시점(novel views) 의 이미지를 생성하는 데 성공했지만, 
• 기하학적(geometry) 및 색상(color) 일관성을 유지하는 것이 어려움
• 생성된 이미지들 간에 불일치가 발생하여 3D 재구성에 활용하기 어려움

🎀 SyncDreamer 의 해결 방법

• 동기화된(multiview-synchronized) 다각도 확산 모델을 제안
• 여러 뷰에서의 공통적인 특징(feature) 을 공유하는 3D 인식(feature attention) 매커니즘을 활용
• 역확산(reverse diffusion) 과정에서 모든 뷰의 중간 상태를 동기화하여 다각도 일관성을 유지

 

SyncDreamer 는 더 높은 다각도 일관성을 유지하며, 3D 재구성 및 이미지-기반 3D 생성에 효과적입니다.

기존 방법보다 더 정확한 3D 복원이 가능하며, text-to-3D 및 새로운 시점(novel-view synthesis)에도 활용 가능 합니다.

 

 

Introduction

기존 연구 및 한계

• 딥러닝과 신경망(NeRF 포함)이 3D 정보 추출에 큰 발전을 이루었지만,
  ❌ 단일 이미지에서 다각도 일관성을 유지하며 3D 복원하는 것은 여전히 어려움.
• 2D 확산 모델(diffusion models)이 이미지 생성에서 큰 성과를 냄.
• 하지만 3D 확산 모델을 직접 학습하는 것은 데이터 부족으로 어려움.

기존 해결 방법: Text-to-3D 모델

• 기존 방법: 텍스트-이미지 확산 모델을 3D로 변환하는 방식(text-to-3D distillation)
• 문제점:
  ❌ 학습 과정이 복잡하고 시간이 오래 걸림.
  ❌ 텍스트 임베딩만으로 3D 형태를 정확히 표현하는 데 한계.
  ❌ 객체의 세부적인 카테고리, 외형, 자세(pose) 정보 손실 → 품질 저하.

기존 문제점

•  기존 연구들은 2D 확산 모델(diffusion models)을 활용하여 단일 이미지에서 다각도 이미지를 생성하고 3D 복원(reconstruction)을 수행
•  그러나, 동일한 객체의 다각도 이미지 간 일관성을 유지하는 것이 어려움
•  이를 해결하기 위해 기존 방법들은 다음과 같은 방식으로 입력 조건을 추가함:
  • 입력 이미지 조건 사용 (Zhou & Tulsiani, 2023; Tseng et al., 2023)
  • 이전 생성된 이미지 활용 (Tewari et al., 2023; Chan et al., 2023)
  • Neural Field 렌더링 사용 (Gu et al., 2023b)
• 하지만, 기존 방법들은 특정 데이터셋(예: ShapeNet, Co3D)에서만 좋은 성능을 보이며, 임의의 객체(any arbitrary object)에 대해 일반화하는 것이 어려움

 

🧸 SyncDreamer: 새로운 해결 방법

✔ 핵심 아이디어

• 확산 모델의 확장된 버전으로, 다각도 이미지의 확률 분포(joint probability distribution)를 모델링.
• 동기화된(multiview-synchronized) 확산 모델을 도입하여 모든 생성된 이미지가 동기화되도록 학습.

✔ SyncDreamer의 주요 특징

① N개의 노이즈 예측기(Noise Predictors)를 공유하여 동시에 다각도 이미지 생성

• 한 번의 역확산(reverse diffusion) 과정에서 N개의 이미지를 동시에 생성.
• 각 노이즈 예측기들이 주의(attention) 레이어를 통해 서로 정보를 공유하여 일관성을 유지.

② 사전 학습된 Zero123 모델을 활용하여 강력한 일반화 성능 확보

• Stable Diffusion을 기반으로 학습된 Zero123 모델을 활용하여 보다 다양한 데이터에 대응 가능.
• 실제 사진뿐만 아니라, 손 그림, 만화, 수채화 등 다양한 스타일의 2D 이미지에서도 사용 가능.

③ 3D 재구성을 더 쉽게 수행할 수 있음

• 생성된 이미지가 기하학적으로 일관되므로, 기본적인 NeRF 또는 NeuS를 그대로 적용 가능.
• 특수한 손실 함수(SDS Loss) 없이도 보다 직관적으로 3D 품질을 예측 가능.

④ 창의성과 다양성 유지 가능

• 기존 distillation 기반 방법들은 한 개의 3D 형태로 수렴하는 경향이 있지만,
• SyncDreamer는 같은 입력 이미지로도 다양한 3D 객체를 생성 가능.

실험 결과

• Google Scanned Object (GSO) 데이터셋에서 SyncDreamer와 기존 방법들을 비교.
• 결과적으로, 기존 방법들보다 더 높은 다각도 일관성과 3D 복원 성능을 보임.
• 또한, 다양한 스타일(스케치, 만화, 유화 등)의 2D 입력 이미지에서도 높은 성능을 확인.

 

 

---

Related Works

 

Diffusion Models 

• 확산 모델(Diffusion Models)의 성공
  • Ho et al. (2020), Rombach et al. (2022), Croitoru et al. (2023) 등 연구에서 2D 이미지 생성 분야에서 확산 모델이 뛰어난 성과를 보임.
• 다각도(multiview) 확산 모델 연구
  • MVDiffusion (Tang et al., 2023b) → 고정된 기하학 정보를 사용하여 텍스처 및 파노라마 생성.
  • SyncDreamer (본 논문) → 기존과 다르게 기하학 정보가 없는 상태에서(multiview with unknown geometry) 다각도 이미지를 생성.
  • MultiDiffusion (Bar-Tal et al., 2023), SyncDiffusion (Lee et al., 2023) → 2D 이미지 내 여러 영역에서 확산 모델을 결합.
• 확산 모델을 3D 생성에 적용하는 연구
  • Nichol et al. (2022), Jun & Nichol (2023), Müller et al. (2023), Zhang et al. (2023a) 등
    → 3D 생성 모델에서도 확산 모델을 적용하려는 연구 진행.
  • 그러나, 기존 연구들은 다음과 같은 문제점이 존재:
    ❌ 3D 데이터 부족 → 직접적인 3D 확산 모델 학습이 어려움.
    ❌ 2D 이미지 생성 모델보다 품질이 낮고 일반화 성능이 떨어짐.
• 2D 데이터만 활용한 3D 확산 모델 연구
  • Anciukevicˇius et al. (2023), Chen et al. (2023a), Karnewar et al. (2023b)
    → 3D 데이터 부족 문제를 해결하기 위해 2D 이미지만을 활용한 3D 확산 모델 학습 시도.

 

Using 2D Diffusion Models For 3D

• 3D 확산 모델을 직접 학습하는 대신, 고품질 2D 확산 모델을 3D 생성에 활용
  • DreamFusion (Poole et al., 2023), SJC (Wang et al., 2023a) →
    → 2D 텍스트-이미지 모델을 활용하여 3D 형상을 생성하는 distillation 기법 제안
    
    
• 단일 이미지에서 3D 복원을 위한 distillation 방식
  • Tang et al., 2023a; Melas-Kyriazi et al., 2023; Qian et al., 2023 등
    → NeRF 기반 최적화 및 텍스트 임베딩 활용하여 단일 이미지에서 3D 복원 수행.
    ❌ 하지만, 텍스트 변환(textual inversion)과 NeRF 최적화 과정이 오래 걸리며 품질이 불안정.
    
    
• 2D 확산 모델을 활용하여 다각도(multiview) 이미지 생성 → 3D 복원에 적용
  • Watson et al. (2022), Gu et al. (2023b), Zhou & Tulsiani (2023) 등
    → 입력 이미지(attention layers)를 조건으로 활용하여 새로운 시점(novel views) 생성.
  • Xiang et al. (2023), Zhang et al. (2023b)
    → 깊이(depth) 지도 예측을 활용하여 이미지 왜곡 및 보완(warp & inpaint) 수행.
    ❌ 하지만, 깊이 지도 추정이 부정확하면 품질 저하 문제 발생.
  • Chan et al. (2023), Tewari et al. (2023)
    → 새로운 이미지를 반복적으로 생성하는 autoregressive 방식 적용.
    → 특정 객체 카테고리에서는 좋은 성능을 보이지만 범용적이지 않음.

 

SyncDreamer의 차별점

① 기존 distillation 방식과 다르게, 하나의 역확산(reverse diffusion) 과정에서 모든 다각도 이미지를 동시에 생성
② 특정 객체 카테고리(Scene-specific)나 추가적인 깊이 지도 없이도 다양한 객체에 대해 적용 가능
③ Viewset Diffusion(Szymanowicz et al., 2023)과 유사하지만,

• 방사장(Radiance Field) 예측이 필요 없음 → 계산량 절감
• 고정된 시점(Viewpoints) 설정 → 더 안정적인 학습 가능

④ MVDream (Shi et al., 2023)과 유사하지만, SyncDreamer는 text-to-3D가 아니라 단일 이미지 기반 reconstruction을 목표로 함.

 

Other Single-View Reconstruction Methods

• 단일 이미지 기반 3D 복원의 어려움
  • 단일 이미지(single-view)에서 3D 구조를 복원하는 것은 매우 어려운 문제
    과거에는 회귀(regression) 또는 검색(retrieval) 방식으로 3D 복원을 시도했으나,
    ❌ 새로운 객체 카테고리에 대한 일반화가 어려움 (Tatarchenko et al., 2019; Li et al., 2020).
• 최근 NeRF-GAN 기법을 적용하여 특정 객체(예: 사람 얼굴, 고양이 얼굴 등)에서 더 나은 3D 복원 성능을 달성
  • 학습된 NeRF 모델을 기반으로 단일 이미지에서 3D 구조를 생성
  • 하지만, NeRF-GAN은 특정 카테고리에서만 잘 동작하며, 범용적인 3D 복원에는 한계
    ❌ 다양한 임의의 객체(arbitrary objects)에 대해 일반화하기 어려움
    ❌ ImageNet 같은 대규모 데이터셋에서 학습을 시도하지만 여전히 어려움 (Skorokhodov et al., 2023; Sargent et al., 2023). NeRF-GAN을 활용한 3D 복원 연구

 

---

METHOD

🎈 목표: 단일 이미지에서 다각도(multiview) 이미지 생성

입력 이미지 y 가 주어졌을 때, 다각도 일관성을 유지하는 이미지들을 생성하는 것이 목표.
객체는 원점(origin)에 위치하고, 1x1 크기의 정규화된 큐브 안에 있다고 가정.
N개의 고정된 시점(fixed viewpoints) 에서 생성하며,

• 방위각(Azimuth): 0° ~ 360° 범위에서 균등 분포.
• 고도(Elevation): 30°로 고정.

이 모델은 확산 확률 모델(diffusion probabilistic model)을 기반으로 함.

🔽 DDPM 에 관한 설명

 

 

MULTIVIEW DIFFUSION

Vanilla DDPM 모델을 사용하여 각 시점을 독립적으로 생성하게 되면 다각도 일관성 유지가 어려움

→ 이를 해결하기 위해 모든 시점의 이미지 생성을 연관시킨 Multiview Diffusion Model 을 설계
→ 목표는 단일 이미지에서 다각도 이미지 생성을 하나의 확률 분포로 모델링 하는 것

 

🧡 정방향 확산 과정 (Foward Diffusion Process)

각 시점의 이미지에 독립적으로 가우시안 노이즈를 추가

 

🧡 역방향 확산 과정 (Reverse Diffusion Process)

• 정방향 확산 과정에서 추가된 노이즈를 제거하여 깨끗한 다각도 이미지를 복원
• 단순히 개별적인 이미지 생성이 아니라, 각 시점의 이미지를 연관시켜 학습

 

μθ 평균 식 분석

각 항의 의미를 분석해보자

 

손실 함수 (L) 분석

• 노이즈 예측기 ϵθ(n) 가 실제 가우시안 노이즈 ϵ(n) 와 최대한 일치하도록 학습하는 과정
• 네트워크가 학습할 때, 각 시점(t)과 각 뷰(n)에 대해 노이즈를 최소화하도록 최적화

각 항의 의미를 분석해보자

---

Training Procedure

📍 Step 1: N 개의 다각도 이미지 샘플링

• 데이터셋에서 동일한 객체에 대한 N 개의 시점(Views) 를 가져옴
• 즉, 데이터셋에는 단일 객체를 다양한 시점에서 촬영한 이미지들이 저장되어 있음

➡ 이 단계에서 학습 데이터가 다각도 일관성을 유지하도록 설계됨

 

📍 Step 2: 무작위 타임스텝 t 샘플링 및 가우시안 노이즈 추가

• t 는 확산 모델에서 사용되는 랜덤 타임스텝, 즉 노이즈를 추가할 단계
• 가우시안 노이즈 ϵ(1:N)를 샘플링하여 각 이미지에 적용

• 각 이미지 x0(1:N) 에 노이즈 추가하여 xt(1:N) 생성:

• 여기서 αtˉ 는 노이즈 스케일링 계수이며, 노이즈 강도는 t 에 따라 증가

➡ 이 단계에서 모델은 다양한 노이즈 레벨에서 이미지 변형을 학습함

 

📍 Step 3: 랜덤 뷰 n 선택 및 노이즈 예측기 적용

• n 번째 뷰를 무작위로 선택 (n∼U(1,N))
• 해당 뷰에 대해 노이즈 예측기 ϵθ(n) 적용하여 노이즈를 예측.

• 이 과정에서 전체 시점의 이미지 xt(1:N)​ 를 입력으로 받아 특정 뷰의 노이즈를 예측.
• 즉, 단순히 xt(n) 하나만 사용하는 것이 아니라, 다른 시점의 이미지 정보를 함께 활용하여 노이즈를 예측.
• 이 과정이 다각도 일관성을 유지하는 핵심 요소.

➡ 이 단계에서 모델은 다른 시점 정보를 활용하여 특정 시점의 노이즈를 예측하도록 학습됨.

 

📍 Step 4: 손실 함수(Loss) 계산 및 학습

• 샘플링된 실제 노이즈 ϵ(n) 와 예측된 노이즈 ϵθ(n)​ 간의 L2 거리(MSE 손실) 계산
• 모델이 예측한 노이즈가 실제 가우시안 노이즈와 가까울수록 손실이 작아짐.
• 학습 과정에서 이 손실을 최소화하도록 네트워크의 가중치를 업데이트.

➡ 이 단계에서 모델이 점점 더 정확한 노이즈 예측을 수행하도록 학습됨.

 

인과관계가 헷갈려요...

 

1. 학습 데이터 구성

• 학습 데이터셋에는 이미 여러 시점에서 촬영된 이미지들이 포함되어 있음
• 즉, 단일 객체에 N 개의 다른 각도에서 촬영된 이미지 세트가 제공됨
• 이 데이터셋을 활용하여 모델은 "다각도 일관성을 유지하면서 노이즈를 제거하는 법"을 학습하게 됨

 

2. 학습 과정에서 하는 일

목표 :

• 입력된 다각도 이미지 세트(x0(1:N))에 노이즈를 추가하고, 이를 역확산으로 복원하도록 모델을 학습
• 특정 시점 n 의 노이즈를 예측할 때, 다른 시점의 이미지 정보까지 활용하여 예측 정확도를 높이도록 학습

 

3. 테스트 과정에서 하는 일

테스트 시의 핵심 질문 : "모델이 학습된 노이즈 예측기를 어떻게 활용하는가?"

• TEST 때는 단일 시점 이미지(y) 만 주어지고, 다각도 이미지를 존재하지 않음
• 하지만 모델은 학습 과정에서 다각도 정보가 어떻게 연관되는지 배웠기 때문에, 입력된 단일 이미지를 기반으로 다각도 예측이 가능

 

---

Synchronized N-view Noise Predictor

SyncDreamer의 다각도 확산 모델(Multiview Diffusion Model) 은 N개의 노이즈 예측기(Noise Predictors) 가 동기화된 상태에서 작동함
✅ 각 타임스텝 t 마다, 각 노이즈 예측기 ϵθ(n) 는 개별 뷰 xt(n) 에서 노이즈를 예측하여 xt−1(n) 를 복원
✅ 이 과정에서 모든 노이즈 예측기가 동기화(Synchronized)됨 → 다른 시점의 정보와 연관되어 노이즈를 예측
✅ 즉, 단순히 개별적으로 노이즈를 예측하는 것이 아니라, 다각도 정보를 서로 공유하며 최적의 예측을 수행하는 것이 특징!

UNet 을 활용한 공유된 노이즈 예측기(Shared UNet) 사용

• 실제 구현에서는 각 뷰에 개별적인 노이즈 예측기를 따로 두지 않고, 하나의 공유된 UNet을 사용
• 즉, N개의 노이즈 예측기를 개별적으로 학습하는 것이 아니라, 하나의 UNet 모델이 모든 N개의 뷰에 대해 학습되도록 설계됨

 

자 여기서, ϵθ 는 어떤 함수인가?

• ϵθ 는 노이즈 예측기(Noise Predictor) 함수이다.
• 이 함수의 역할은 현재 노이즈가 추가된 이미지 xt(n)​ 를 입력으로 받아, 그에 대응하는 노이즈 ϵ(n) 를 예측하는 것
• 즉, "이 이미지에서 제거해야 할 노이즈는 무엇인가?" 를 학습하는 함수
• 이 함수는 딥러닝 모델(특히 UNet)로 구현됨 → 입력 이미지를 받아 노이즈를 예측하는 역할 수행

세미콜론의 역할

 

📌 SyncDreamer에서 동기화가 이루어지는 방식:

1. 각 뷰에 대해 개별적인 노이즈 예측기가 존재하지만, 모든 뷰가 공유된 UNet을 통해 학습됨.
2. 각 뷰의 노이즈 예측 과정에서 다른 뷰의 상태를 함께 입력값으로 활용.
3. 입력 뷰와 목표 뷰 간의 시점 차이 Δv(n) 를 조건으로 사용하여 다각도 정합성을 유지.

 ㄴ 시점 차이 (Δv(n)) 의 역할

✅ Δv(n) 는 입력 뷰와 특정 뷰(n) 간의 카메라 시점 차이를 의미함.
✅ 이는 모델이 "특정 시점에서 다른 시점으로 어떻게 변환되는지"를 이해하도록 도와줌.
✅ 예를 들어, Δv(n)가 크다면 모델은 "현재 뷰에서 상당히 다른 시점을 예측해야 한다"는 점을 반영할 수 있음.

➡ 결과적으로, 시점 차이를 추가하는 것은 모델이 더 정밀한 다각도 일관성을 유지하도록 돕는 중요한 요소!

 

 

3D-AWARE FEATURE ATTENTION FOR DENOSING

 

1. UNet 기반 노이즈 예측기 ϵθ​

• 기본적으로 UNet을 사용하여 노이즈를 제거하는 방식
• Zero123 (Liu et al., 2023b) 모델의 사전 학습된 UNet을 사용하여 일반화 성능을 유지
  • Zero123가 하는 일:
  • 입력 이미지와 노이즈가 포함된 목표 뷰(target view)를 함께 UNet에 입력
  • 이 두 이미지를 기반으로 새로운 시점의 이미지를 생성
  • ✅ SyncDreamer도 Zero123의 구조를 따르지만, UNet과 텍스트 주의(attention) 레이어는 동결(freeze)하여 학습하지 않음

➡ 즉, 기본적인 노이즈 제거 과정은 UNet으로 수행되지만, 다각도 일관성을 유지하기 위해 추가적인 3D-aware feature attention을 도입!

 

2. 3D-Aware Feature Attention (3D 인식 특성 주의 메커니즘)

문제:

• 단순한 2D CNN이나 기존 UNet 구조만 사용하면 다각도 이미지 간 일관성을 유지하기 어려움
• 각각의 시점(View)에서 노이즈를 제거할 때, 다른 시점에서 공유하는 3D 특징을 인식해야 더 정밀한 복원이 가능
•  해결 방법:
  • 3D 볼륨(3D feature volume)을 먼저 생성
    • 3D 공간 내 가상의 격자점(vertices) V^3 설정
    • 이 격자점을 모든 시점의 이미지에 투영하여 해당 위치의 특징(feature)을 가져옴
    • 즉, 각 시점에서 특정 3D 포인트가 어떻게 보이는지를 확인할 수 있음
  • 모든 뷰에서 컨볼루션 레이어(Convolution Layers)를 사용하여 특징(feature) 추출
    • 각 시점의 이미지에서 의미 있는 특징을 감지하여 3D 공간으로 통합
    • 컨볼루션 레이어는 로컬 패턴을 학습하는 역할을 하므로, 특정 물체의 특징을 안정적으로 인식 가능
  • 3D CNN을 사용하여 공간적(spatial) 관계를 학습
    • 각 시점에서 투영된 특징들을 하나의 3D 공간으로 모아서 학습
    • 즉, 단순히 2D 이미지에서 특징을 찾는 것이 아니라, 3D 공간에서의 의미 있는 관계를 학습하는 과정

➡ 결론적으로, 컨볼루션 레이어를 통해 각 시점에서 동일한 3D 포인트를 찾고, 이를 3D 볼륨으로 통합하여 보다 정밀한 3D 인식을 가능하게 함!

N개의 target view의 2D feature map들을 3D 공간으로 unproject하여, 공통의 3D 공간(spatial volume)에 모은 다음,
이걸 기반으로 각 뷰가 자기 시점에 맞는 정보를 꺼내가도록 합니당

 

3. 특정 시점 n 의 노이즈 제거 과정

3D 볼륨이 생성된 이후, 특정 시점 n 에 대한 노이즈를 제거하는 과정:

• 해당 시점에 맞춰 픽셀 단위로 정렬된(View Frustum) 볼륨을 구성
  • 이 View Frustum은 해당 뷰의 픽셀과 정확히 맞아떨어지는 3D 공간상의 특징을 가져옴
• 이 View Frustum에서 픽셀 단위로 특징을 보간(Interpolate)하여 적용
  • 즉, 다른 시점에서 얻은 3D 특징을 해당 시점의 이미지에 맞춰 변환
• UNet의 중간 특징 맵(intermediate feature map)에서 새로운 Depth-Wise Attention 적용
  • 이 과정에서 깊이(depth) 방향의 특성을 반영하여 보다 정밀한 특징 학습 가능
  • 이러한 Depth-Wise Attention은 Epipolar Attention 개념과 유사함

➡ 즉, 특정 시점에서 노이즈를 제거할 때, 다른 시점에서 가져온 3D 특징을 활용하여 보다 정확한 결과를 생성!

💛 VIEW FRUSTUM VOLUME 이란?

• View Frustum(뷰 프러스텀) 은 3D 그래픽스 및 컴퓨터 비전에서 특정 카메라 시점(Viewpoint)에서 볼 수 있는 공간을 정의하는 3D 영역
• 쉽게 말하면, 카메라가 촬영할 수 있는 영역을 피라미드 모양으로 표현한 것
• 이 View Frustum 안에 포함된 3D 점들만 카메라에 의해 보이게 됨!
  • 📌 예제: 카메라에서 View Frustum이 어떻게 보이는지
    • 가까운 평면(Near Plane): 카메라에 가장 가까운 2D 평면
    • 먼 평면(Far Plane): 카메라에서 가장 먼 2D 평면
    • 좌/우/상/하 경계(Frustum Boundaries): 카메라의 FOV(Field of View, 시야각)에 따라 결정됨

• View Frustum Volume(뷰 프러스텀 볼륨) 은 특정 시점에서 3D 공간을 픽셀 단위로 정렬한 3D 특징 볼륨(feature volume) 입니다.
• 즉, 각 픽셀에서 3D 공간 속 여러 깊이(depth) 값에 해당하는 특징(feature)들을 저장한 3D 텐서입니다.
• 이러한 볼륨을 사용하면, 특정 픽셀에 대해 여러 깊이에서의 정보를 참조할 수 있어 3D 구조를 더 잘 복원 가능!
• 예)
  • 특정 카메라 시점에서 픽셀(100, 200)을 보면 여러 깊이(depth)에서 여러 개의 3D 특징이 존재할 수 있음.
  • View Frustum Volume에는 이 픽셀의 위치에서 깊이에 따라 추출된 3D 특징들을 저장.
  • 깊이 방향으로 정렬된 특징 볼륨을 활용하여 특정 픽셀에서 가장 적절한 3D 특징을 선택 가능!

 

 

4. 설계 원리 및 디자인 고려사항

✅ 첫 번째 고려사항: 전역적(global) 다각도 정합성

• 모든 시점이 동일한 객체를 보고 있기 때문에, 하나의 통합된 3D 볼륨을 사용하여 다각도 정합성을 유지

✅ 두 번째 고려사항: 깊이 방향의 Attention 적용

• 새로운 Attention Layer는 깊이 방향(depth dimension)에서만 동작
• 이것은 Epipolar Line Constraint와 연관됨 → 특정 지점에서 관찰된 특징은 다른 시점에서도 동일해야 함

➡ 즉, SyncDreamer는 단순히 2D 이미지 각각을 독립적으로 처리하는 것이 아니라, 3D 공간에서의 의미 있는 정보를 학습하여 일관된 다각도 이미지를 생성!