[Notable] NeuS (Neural Implicit Surface)

https://lingjie0206.github.io/papers/NeuS/

NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction

 

 

 

NeuS(Neural Implicit Surface) 는 신경 기반 암시적 표면 학습 기법으로, NeRF(Neural Radiance Fields) 기반의 3D 재구성 기술 중 하나입니다. 

기존 NeRF 와 달리, NeuS 는 명확한 표면(Surface) 을 추정하는데 초점을 맞추며, 물체의 정확한 형상을 추출하고 렌더링하는 데 뛰어난 성능을 보입니다.

 

1. 기존 NeRF 와의 차이점

NeRF 는 3D 공간을 밀도(density)로 표현하는 볼륨 렌더링(Volume Rendering) 방식을 사용하지만, 이는 명확한 표면(surface) 을 추출하는 데 한계가 있습니다.

NeRF의 문제점

• 3D 공간에서 밀도(σ)를 직접 학습 → 특정 표면을 정확히 정의하기 어려움.
• 표면이 아닌, 물체의 내부 구조까지 함께 표현됨.
• 노이즈가 많고 뚜렷한 경계를 유지하기 어려움.

NeuS의 개선점

• 밀도가 아닌 Signed Distance Function (SDF) 을 학습하여 명확한 표면을 추정
• SDF를 기반으로 표면 위치를 직접 결정하므로 경계가 뚜렷하고 매끄러운 3D 형상을 생성
• 더욱 정확한 3D 재구성이 가능하며, 복잡한 물체에서도 깨끗한 메쉬를 생성

 

2. NeuS 의 핵심 개념

NeuS 는 SDF(Signed Distance Function) 를 활용하여 표면을 추정하고, 볼륨 렌더링 방식을 수정하여 학습하는 것이 특징입니다.

2.1 Signed Distance Function (SDF)

• SDF 는 공간의 한 점 x 가 물체 표면으로부터 얼마나 떨어져 있는지를 나타내는 함수
• 표면에 가까울수록 0에 가까워지고, 물체 내부는 음수, 외부는 양수 값을 가짐
  

  

• NeuS 는 이 SDF 를 신경망(MLP) 으로 학습하여 물체 표면을 직접 찾아냄

 

2.2 NeuS 의 새로운 볼륨 렌더링 공식

기존 NeRF 는 밀도를 사용한 볼륨 렌더링을 기반으로 했지만, NeuS 는 SDF 를 기반으로 표면을 추정합니다. 이를 위해 NeuS는 SDF 값을 확률 밀도 함수 (PDF) 로 변환하여 표면을 샘플링합니다.

• SDF 를 사용하여 표면을 찾고, 해당 위치에서 색상을 샘플링
• 물체 표면 근처에서만 샘플링하므로 더욱 효율적인 학습 가능
• 기존 NeRF 보다 적은 샘플로도 정밀한 결과를 얻을 수 있음

 

3. NeuS 의 학습 과정

1️⃣ Signed Distance Function (SDF) 학습

• MLP를 사용하여 각 점의 SDF 값을 예측
• 표면을 나타내는 0 값 주변을 정확히 모델링하는 것이 중요

2️⃣ SDF → 밀도(α) 변환

• SDF 값을 확률 밀도 함수(PDF) 로 변환하여 볼륨 렌더링에 활용
• 이를 통해 NeRF처럼 볼륨 렌더링이 가능하지만, 표면을 명확하게 표현

3️⃣ 렌더링 및 색상 예측

• 카메라 방향에 따른 광선(ray)을 추적하여 표면에 해당하는 색상을 예측
• 표면 법선(normals) 정보를 활용하여 더욱 사실적인 조명 효과 적용 가능

4️⃣ 최적화

• 렌더링된 이미지와 실제 이미지 사이의 L2 loss, SDF regularization loss 등을 사용하여 모델을 학습