๋ณธ๋ฌธ ๋ฐ”๋กœ๊ฐ€๊ธฐ
๐Ÿ˜ŽAI/3D Reconstruction

[Paper Review] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

by SolaKim 2024. 12. 10.

Abstract

์ด ๋…ผ๋ฌธ์—์„œ๋Š” ๋ณต์žกํ•œ ์žฅ๋ฉด์˜ ์ƒˆ๋กœ์šด ์‹œ์ ์„ ์ƒ์„ฑํ•˜๋ฉฐ, ๊ธฐ์กด ์—ฐ๊ตฌ๋ฅผ ๋›ฐ์–ด๋„˜๋Š” ์„ฑ๋Šฅ์„ ๋‹ฌ์„ฑํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์ œ์•ˆํ•œ๋‹ค.

์ด ๋ฐฉ๋ฒ•์€ ์†Œ์ˆ˜์˜ ์ž…๋ ฅ ๋ทฐ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ์—ฐ์†์ ์ธ volume scene ํ•จ์ˆ˜๋ฅผ ์ตœ์ ํ™”ํ•œ๋‹ค.

์•Œ๊ณ ๋ฆฌ์ฆ˜์€ ์žฅ๋ฉด์„ fully connected (not convolution) deep network ๋กœ ํ‘œํ˜„ํ•œ๋‹ค. 

<๋ฐฉ๋ฒ•>
- ์ž…๋ ฅ: ์—ฐ์†์ ์ธ 5D ์ขŒํ‘œ => ๊ณต๊ฐ„ ์œ„์น˜(x, y, z) ์™€ ์‹œ์  ๋ฐฉํ–ฅ(ฮธ, ฯ†) ์„ ์ž…๋ ฅ
- ์ถœ๋ ฅ: ํ•ด๋‹น ์œ„์น˜์˜ ์ฒด์  ๋ฐ€๋„(volume density) ์™€ ์‹œ์  ์ข…์† ๋ฐฉ์ถœ ๋ณต์‚ฌ๊ด‘(view-dependent emitted radiance) ์ถœ๋ ฅ
- ํ•ฉ์„ฑ ๊ณผ์ •: ์นด๋ฉ”๋ผ์—์„œ ์žฅ๋ฉด์œผ๋กœ ๋ป—์–ด๋‚˜๊ฐ€๋Š” ๊ด‘์„ (rays) ์„ ๋”ฐ๋ผ 5D ์ขŒํ‘œ(๊ณต๊ฐ„์œ„์น˜์™€ ์‹œ์ ๋ฐฉํ–ฅ)๋ฅผ ์„ ํƒํ•œ ๋’ค, ํ•ด๋‹น ์ขŒํ‘œ์—์„œ ์‹ ๊ฒฝ๋ง์„ ํ†ตํ•ด ๊ณ„์‚ฐ๋œ ์ƒ‰์ƒ๊ณผ ๋ฐ€๋„ ๊ฐ’์„ ์ฒด์  ๋ Œ๋”๋ง ๊ธฐ๋ฒ•์„ ์‚ฌ์šฉํ•ด ๊ฒฐํ•ฉํ•˜์—ฌ ์ตœ์ข… ์ด๋ฏธ์ง€๋ฅผ ์ƒ์„ฑํ•œ๋‹ค.
- ์ตœ์ ํ™”: ๋ฏธ๋ถ„ ๊ฐ€๋Šฅํ•œ ์ฒด์  ๋ Œ๋”๋ง์„ ์ด์šฉํ•ด ์นด๋ฉ”๋ผ ์œ„์น˜๊ฐ€ ์•Œ๋ ค์ง„ ์ด๋ฏธ์ง€ ์„ธํŠธ๋งŒ์œผ๋กœ ์ตœ์ ํ™”ํ•œ๋‹ค.

๊ฒฐ๊ณผ์ ์œผ๋กœ ์‹ ๊ฒฝ ๋ Œ๋”๋ง ๋ฐ ๋ทฐ ํ•ฉ์„ฑ์—์„œ ๊ธฐ์กด ์—ฐ๊ตฌ๋ณด๋‹ค ์šฐ์ˆ˜ํ•œ ์„ฑ๋Šฅ์„ ๋ณด์ธ๋‹ค. ๋ทฐ ํ•ฉ์„ฑ ๊ฒฐ๊ณผ๋ฅผ ๋น„๋””์˜ค๋กœ ํ™•์ธํ•˜๋ฉด ๋” ์„ค๋“๋ ฅ์žˆ๋Š” ๋น„๊ต๊ฐ€ ๊ฐ€๋Šฅํ•˜๋‹ค.

 

์—ฌ๊ธฐ์„œ ํ•ต์‹ฌ ๊ฐœ๋…์ธ "Ray" ์— ๋Œ€ํ•ด์„œ ์ข€ ๋” ์•Œ์•„๋ณด๊ณ  ์ดํ›„ ๋…ผ๋ฌธ์„ ์ฝ์–ด๋ณด๊ณ ์ž ํ•œ๋‹ค.

Ray ๋Š” ๊ณต๊ฐ„ ์ƒ์˜ ์  ํ•˜๋‚˜์™€ ๋ฐฉํ–ฅ(๊ฐ๋„)์ด ์ฃผ์–ด์ง€๋ฉด ํ˜•์„ฑ๋˜๋Š” ์ง์„ ์„ ์˜๋ฏธํ•˜๋ฉฐ, NeRF์—์„œ๋Š” ์ด ์ง์„  ์œ„์˜ ์—ฌ๋Ÿฌ ์ง€์ (์ƒ˜ํ”Œ๋ง๋œ ์ ๋“ค)์„ ๋”ฐ๋ผ ์žฅ๋ฉด์˜ ์ •๋ณด(์ฒด์  ๋ฐ€๋„์™€ ๋ฐฉ์ถœ ๋ณต์‚ฌ๊ด‘)๋ฅผ ๊ณ„์‚ฐํ•˜๋Š” ๋ฐ ์‚ฌ์šฉ๋œ๋‹ค.

 

 

Introduction

NeRF ๋Š” 5D continuous function ์„ ์‚ฌ์šฉํ•ด ์žฅ๋ฉด์„ ํ‘œํ˜„ํ•˜๊ณ , ์ด๋ฅผ ํ•™์Šตํ•˜์—ฌ ๊ณ ํ•ด์ƒ๋„์˜ ์ƒˆ๋กœ์šด ๋ทฐ๋ฅผ ์ƒ์„ฑํ•˜๋Š” ๋ทฐ ํ•ฉ์„ฑ(View Synthesis) ๊ธฐ์ˆ ์ด๋‹ค. ์ฃผ์š” ํŠน์ง•๊ณผ ๊ธฐ์—ฌ๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™๋‹ค.

1. ์žฅ๋ฉด ํ‘œํ˜„ ๋ฐฉ์‹:

- ์žฅ๋ฉด์€ (x, y, z) ๋กœ ์ •์˜๋˜๋Š” ๊ณต๊ฐ„ ์œ„์น˜์™€ (ฮธ, ฯ†) ๋กœ ์ •์˜๋˜๋Š” ์‹œ์  ๋ฐฉํ–ฅ์„ ์ž…๋ ฅ๋ฐ›์•„,  ๊ฐ ์ง€์ ์˜ RGB(๊ด‘๋Ÿ‰, Radiance) ๊ณผ ๋ฐ€๋„(Density) ๋ฅผ ์ถœ๋ ฅํ•˜๋Š” 5D ์—ฐ์† ํ•จ์ˆ˜๋กœ ๋ชจ๋ธ๋ง๋œ๋‹ค.

- ๋ฐ€๋„๋Š” ๋น›์˜ ํก์ˆ˜/ํˆฌ๊ณผ ์ •๋„๋ฅผ ์ œ์–ดํ•˜๋ฉฐ, ์ด๋ฅผ ํ†ตํ•ด ์žฅ๋ฉด์˜ ๊ตฌ์กฐ์™€ ์™ธํ˜•์„ ์žฌํ˜„ํ•œ๋‹ค.

2. NeRF ์˜ ์‹ ๊ฒฝ๋ง ๊ตฌ์กฐ:

- MLP (๋‹ค์ธต ํผ์…‰ํŠธ๋ก ) ๊ธฐ๋ฐ˜์˜ fully-connected layer ๋ฅผ ์‚ฌ์šฉํ•˜๋ฉฐ 5D ์ขŒํ‘œ๋ฅผ input ์œผ๋กœ ๋ฐ›์•„ ์‹œ์  ์˜์กด์ ์ธ RGB ์ƒ‰์ƒ๊ณผ Density ๊ฐ’์„ output์œผ๋กœ ์ถœ๋ ฅํ•œ๋‹ค.

- Convolution Layer ์—†์ด๋„ ์—ฐ์†์ ์ธ ์žฅ๋ฉด์˜ ๋ณต์žกํ•œ ๊ธฐํ•˜ํ•™๊ณผ ์žฌ์งˆ์„ ํ‘œํ˜„ํ•  ์ˆ˜ ์žˆ๋‹ค.

3. ์ด๋ฏธ์ง€ ๋ Œ๋”๋ง ๊ณผ์ •:

- ํŠน์ • ์‹œ์ ์—์„œ์˜ ์ด๋ฏธ์ง€๋ฅผ ์ƒ์„ฑํ•˜๊ธฐ ์œ„ํ•ด ๋‹ค์Œ ์„ธ ๋‹จ๊ณ„๋ฅผ ์ˆ˜ํ–‰ํ•œ๋‹ค.

    1. ์นด๋ฉ”๋ผ ๊ด‘์„ (ray) ์ƒ์„ฑ: ๊ด‘์„ ์„ ๋”ฐ๋ผ 3D ๊ณต๊ฐ„์˜ ์ƒ˜ํ”Œ๋ง ํฌ์ธํŠธ๋ฅผ ์ƒ์„ฑํ•œ๋‹ค.

    2. MLP๋กœ ์ƒ‰์ƒ๊ณผ ๋ฐ€๋„ ๊ณ„์‚ฐ: ์ƒ˜ํ”Œ๋ง ํฌ์ธํŠธ์™€ ์‹œ์  ๋ฐฉํ–ฅ์„ MLP ์— ์ž…๋ ฅํ•˜์—ฌ ํ•ด๋‹น ์ง€์ ์˜ ์ƒ‰์ƒ๊ณผ ๋ฐ€๋„๋ฅผ ์˜ˆ์ธกํ•œ๋‹ค.

    3. ์ฒด์  ๋ Œ๋”๋ง(Volume rendering): ์˜ˆ์ธก๋œ ์ƒ‰์ƒ๊ณผ ๋ฐ€๋„๋ฅผ ํ•ฉ์„ฑํ•˜์—ฌ 2D ์ด๋ฏธ์ง€๋ฅผ ์ƒ์„ฑํ•œ๋‹ค.

4. ์ตœ์ ํ™” ๋ฐฉ๋ฒ•:

- ๋ฏธ๋ถ„ ๊ฐ€๋Šฅํ•œ(Differentiable) ๋ณผ๋ฅจ ๋ Œ๋”๋ง ๊ธฐ๋ฒ•์„ ์‚ฌ์šฉํ•ด, ๊ด€์ฐฐ๋œ ์ด๋ฏธ์ง€์™€ ์˜ˆ์ธก๋œ ์ด๋ฏธ์ง€ ๊ฐ„์˜ ์˜ค๋ฅ˜๋ฅผ ์ตœ์†Œํ™”ํ•˜๋„๋ก ํ•™์Šตํ•œ๋‹ค.

- ์—ฌ๋Ÿฌ ๊ด€์ ์—์„œ ์ด๋ฏธ์ง€๋ฅผ ๋น„๊ตํ•˜๋ฉด์„œ ์žฅ๋ฉด์˜ ๊ตฌ์กฐ๋ฅผ ์ผ๊ด€์„ฑ ์žˆ๊ฒŒ ํ•™์Šตํ•œ๋‹ค.

5. ๊ธฐ์ˆ ์  ๊ฐœ์„ :

- ๋‹จ์ˆœ ๊ตฌํ˜„์˜ ํ•œ๊ณ„๋ฅผ ๊ทน๋ณตํ•˜๊ธฐ ์œ„ํ•ด ๋‹ค์Œ๊ณผ ๊ฐ™์€ ๋‘ ๊ฐ€์ง€ ํ•ต์‹ฌ ๊ธฐ๋ฒ•์„ ์ œ์•ˆํ•œ๋‹ค.

    - Positional Encoding: ์ž…๋ ฅ 5D ์ขŒํ‘œ๋ฅผ high-frequency (๊ณ ์ฃผํŒŒ์ˆ˜) ํ‘œํ˜„์œผ๋กœ ๋ณ€ํ™˜ํ•ด ๋„คํŠธ์›Œํฌ๊ฐ€ ๋ณต์žกํ•œ ์„ธ๋ถ€ ์ •๋ณด๋ฅผ ํ•™์Šตํ•  ์ˆ˜ ์žˆ๋„๋ก ์ง€์›ํ•œ๋‹ค.

    - Hierarchical Sampling: ์ค‘์š”ํ•œ ์˜์—ญ์— ๊ณ„์‚ฐ ์ž์›์„ ์ง‘์ค‘ํ•ด ๊ณ ์ฃผํŒŒ์ˆ˜ ์žฅ๋ฉด ํ‘œํ˜„์„ ๋” ํšจ์œจ์ ์œผ๋กœ ์ƒ˜ํ”Œ๋งํ•œ๋‹ค.

6. ์žฅ์ ๊ณผ ์„ฑ๋Šฅ

- ๊ธฐ์กด ์ฒด์  ํ‘œํ˜„๋ฒ•(Voxel Grid) ๋ณด๋‹ค ์ €์žฅ ๊ณต๊ฐ„์ด ์ ๊ฒŒ ๋“ค๋ฉด์„œ๋„, ๋ณต์žกํ•œ ๊ธฐํ•˜ํ•™๊ณผ ์™ธํ˜•์„ ํšจ์œจ์ ์œผ๋กœ ๋ชจ๋ธ๋งํ•œ๋‹ค.

- ๊ธฐ์กด ๋ทฐ ํ•ฉ์„ฑ ๊ธฐ๋ฒ•์ด๋‚˜ ๋”ฅ๋Ÿฌ๋‹ ๊ธฐ๋ฐ˜ 3D ํ‘œํ˜„๋ฒ•์„ ๋Šฅ๊ฐ€ํ•˜๋Š” ์„ฑ๋Šฅ์„ ๋ณด์ธ๋‹ค.

- ์‹คํ—˜ ๊ฒฐ๊ณผ, NeRF ๋Š” ๊ณ ํ•ด์ƒ๋„ ํฌํ† ๋ฆฌ์–ผ๋ฆฌ์Šคํ‹ฑ ๋ทฐ๋ฅผ ์ƒ์„ฑํ•˜๋ฉฐ, ์ž์—ฐ ํ™˜๊ฒฝ์—์„œ ์บก์ฒ˜๋œ RGB ์ด๋ฏธ์ง€๋กœ ํ•™์Šต ๊ฐ€๋Šฅํ•จ์„ ๋ณด์—ฌ์ค€๋‹ค.

 

 

Related Work

1. Neural 3D Shape Representation

1. ๊ธฐ๋ณธ ๊ฐœ๋…
- 3D ํ˜•์ƒ ์‹ ๊ฒฝ๋ง(MLP) ์œผ๋กœ ๋ชจ๋ธ๋ง ํ•˜์—ฌ ๊ฐ (x, y, z) ์ขŒํ‘œ๋ฅผ ์„œ๋ช… ๊ฑฐ๋ฆฌ ํ•จ์ˆ˜(Signed Distance Function, SDF) ๋˜๋Š” ์ ์œ  ํ•„๋“œ(Occupancy Field) ๋กœ ๋งคํ•‘
- ์ฃผ์š” ์—ฐ๊ตฌ: 
    - SDF ํ™œ์šฉ: ์ขŒํ‘œ๋ฅผ ๊ฑฐ๋ฆฌ ํ•จ์ˆ˜๋กœ ๋งคํ•‘ํ•ด ํ˜•์ƒ์„ ์—ฐ์†์ ์œผ๋กœ ํ‘œํ˜„
    - ์ ์œ  ํ•„๋“œ ํ™œ์šฉ: 3D ํ‘œ๋ฉด์„ ์ ์œ ๋„๋กœ ๋‚˜ํƒ€๋ƒ„

2. ํ•œ๊ณ„์ 
- ๋Œ€๋ถ€๋ถ„์˜ ์—ฐ๊ตฌ๊ฐ€ 3D geometry(ShapeNet) ๊ณผ ๊ฐ™์€ ํ•ฉ์„ฑ ๋ฐ์ดํ„ฐ์…‹์˜ ์ •๋‹ต ๋ผ๋ฒจ์— ์˜์กดํ•œ๋‹ค.
- ์ด๋Ÿฌํ•œ ์ •๋‹ต ๋ผ๋ฒจ ์—†์ด 2D ์ด๋ฏธ์ง€๋งŒ์œผ๋กœ ํ•™์Šตํ•˜๊ธฐ ์œ„ํ•ด ๋ฏธ๋ถ„ ๊ฐ€๋Šฅํ•œ ๋ Œ๋”๋ง์„ ๋„์ž…ํ•œ ์—ฐ๊ตฌ๋“ค์ด ๋“ฑ์žฅ:
    - ์ ์œ  ํ•„๋“œ๋ฅผ ์‚ฌ์šฉํ•ด ๊ด‘์„  ๊ต์ฐจ์ ์„ ๊ณ„์‚ฐํ•˜๊ณ , ํ•ด๋‹น ์œ„์น˜์˜ ์ƒ‰์ƒ ์˜ˆ์ธก
    - ์‹ ๊ฒฝ๋ง ํ™œ์šฉํ•˜์—ฌ ์ ์ง„์ ์œผ๋กœ ํ‘œ๋ฉด์„ ์ฐพ๋Š” ๋ฐฉ์‹

3. ๊ฒฐ๊ณผ์™€ ํ•œ๊ณ„
- ๊ณ ํ•ด์ƒ๋„ ๊ธฐํ•˜ํ•™ ํ‘œํ˜„์ด ๊ฐ€๋Šฅํ•˜์ง€๋งŒ ๋ณต์žกํ•œ ๊ตฌ์กฐ ํ‘œํ˜„์—๋Š” ์ œ์•ฝ์ด ์žˆ์œผ๋ฉฐ, ๋‚ฎ์€ ํ•ด์ƒ๋„์˜ ๋งค๋„๋Ÿฝ์ง€ ์•Š์€ ๊ฒฐ๊ณผ๋ฌผ ์ƒ์„ฑ

 

2. View Synthesis and Image-Based Rendering

1. ๋ทฐ ํ•ฉ์„ฑ ๊ธฐ์ˆ 
- ์กฐ๋ฐ€ํ•œ ๋ทฐ ์ƒ˜ํ”Œ๋ง: ์กฐ๋ฏผํ•˜๊ฒŒ ๊ด€์ธก๋œ ์ด๋ฏธ์ง€๋“ค์„ ๋ณด๊ฐ„(interpolation)ํ•˜์—ฌ ์ƒˆ๋กœ์šด ๋ทฐ ์ƒ์„ฑ
- ํฌ์†Œํ•œ(sparse) ๋ทฐ ์ƒ˜ํ”Œ๋ง: 
    - ๊ด€์ธก๋œ ์ด๋ฏธ์ง€๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ๊ธฐํ•˜ํ•™์  ํ˜•์ƒ๊ณผ ์™ธํ˜• ์ •๋ณด๋ฅผ ์˜ˆ์ธก
    - ๋Œ€ํ‘œ์ ์œผ๋กœ Mesh-based Representations:
        - ํ‘œ๋ฉด ์™ธํ˜•(defuse/view ์ข…์†)์„ ๋ชจ๋ธ๋ง
        - ๋ฏธ๋ถ„ ๊ฐ€๋Šฅํ•œ ๋ ˆ์Šคํ„ฐ๋ผ์ด์ €๋‚˜ ๊ฒฝ๋กœ ์ถ”์ ๊ธฐ(path tracer)๋ฅผ ํ†ตํ•ด ์ตœ์ ํ™”

2. Volumetric ์ ‘๊ทผ๋ฒ•
- ๋ณต์žกํ•œ ํ˜•์ƒ ๋ฐ ์žฌ์งˆ ํ‘œํ˜„์— ์œ ๋ฆฌํ•˜๋ฉฐ, ์ตœ์ ํ™”๊ฐ€ ์šฉ์ดํ•˜๊ณ  ๋ฉ”์‹œ ๊ธฐ๋ฐ˜ ๋ฐฉ๋ฒ•๋ณด๋‹ค ์‹œ๊ฐ์  ๊ฒฐํ•จ์ด ์ ๋‹ค
- ์ดˆ๊ธฐ ์—ฐ๊ตฌ: ๊ด€์ฐฐ๋œ ์ด๋ฏธ์ง€๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ voxel grid์— ์ƒ‰์ƒ ํ• ๋‹น
- ์ดํ›„ ์—ฐ๊ตฌ: 
    - ๋Œ€๊ทœ๋ชจ ๋ฐ์ดํ„ฐ์…‹์„ ํ™œ์šฉํ•ด ์ž…๋ ฅ ์ด๋ฏธ์ง€๋กœ๋ถ€ํ„ฐ ์ƒ˜ํ”Œ๋ง๋œ ๋ณผ๋ฅจ ๋ฐ์ดํ„ฐ๋ฅผ ์˜ˆ์ธก
    - CNN ๊ณผ ๋ณผ๋ฅจ ์ƒ˜ํ”Œ๋ง์„ ๊ฒฐํ•ฉํ•˜์—ฌ 3D ๊ณต๊ฐ„ ํ‘œํ˜„ ์ตœ์ ํ™”

3. ํ•œ๊ณ„์ :
- ํ•ด์ƒ๋„ ์ œํ•œ (๋ณผ๋ฅจ ์ƒ˜ํ”Œ๋ง์˜ ์‹œ๊ฐ„ ๋ฐ ๊ณต๊ฐ„ ๋ณต์žก๋„์˜ ํ•œ๊ณ„๋กœ ์ธํ•ด ๊ณ ํ•ด์ƒ๋„ ์ด๋ฏธ์ง€ ์ƒ์„ฑ ์–ด๋ ค์›€)
- ํ•ด๊ฒฐ๋ฐฉ์•ˆ: ์—ฐ์† ๋ณผ๋ฅจ ํ‘œํ˜„ => NeRF ๋Š” ์—ฐ์†์  ๋ณผ๋ฅจ์„ ์‹ ๊ฒฝ๋ง ํŒŒ๋ผ๋ฏธํ„ฐ ๋‚ด์— ์••์ถ•์ ์œผ๋กœ ์ธ์ฝ”๋”ฉํ•˜์—ฌ ๊ธฐ์กด ๊ธฐ๋ฒ• ๋Œ€๋น„ ์ €์žฅ ๊ณต๊ฐ„ ๊ฐ์†Œ ๋ฐ ๊ณ ํ’ˆ์งˆ ๋ Œ๋”๋ง ๋™์‹œ์— ๋‹ฌ์„ฑ

๊ฒฐ๋ก ์ ์œผ๋กœ NeRF ๋Š” ์ด์ „ ์—ฐ๊ตฌ๋“ค์˜ ํ•œ๊ณ„ ๊ทน๋ณต์„ ์œ„ํ•ด โญ๏ธ ์—ฐ์†์ ์ธ 5D Radiance field ํ‘œํ˜„์„ ๋„์ž…ํ•˜์˜€๋‹ค.

 

 

Neural Radiance Field Scene Representation

 

์žฅ๋ฉด์€ 5์ฐจ์› ํ•จ์ˆ˜๋กœ ํ‘œํ˜„๋˜๋ฉฐ, ์ด ํ•จ์ˆ˜๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์€ ์ž…์ถœ๋ ฅ์„ ๊ฐ–๋Š”๋‹ค.
- ์ž…๋ ฅ: 3์ฐจ์› ์œ„์น˜ (x, y, z) ์™€ 2์ฐจ์› ์‹œ์  ๋ฐฉํ–ฅ (ฮธ, ฯ†)
- ์ถœ๋ ฅ: ์ƒ‰์ƒ c = (r, g, b), ๋ถ€ํ”ผ ๋ฐ€๋„ ฯƒ

๋ชจ๋ธ ์„ค๊ณ„:
1. ์‹œ์  ๋ฐฉํ–ฅ ์ธ์ฝ”๋”ฉ
- ์‹œ์  ๋ฐฉํ–ฅ์€ 3์ฐจ์› ์ง๊ต ๋‹จ์œ„ ๋ฒกํ„ฐ(3D Cartesian unit vector) d ๋กœ ๋ณ€ํ™˜๋œ๋‹ค.

2. ํ•จ์ˆ˜ ๊ทผ์‚ฌํ™”
- ๋‹ค์ธต ํผ์…‰ํŠธ๋ก (MLP) Fฮธ ๊ฐ€ ๋‹ค์Œ ๋งคํ•‘์„ ๊ทผ์‚ฌํ•œ๋‹ค.

์—ฌ๊ธฐ์„œ ฮธ ๋Š” MLP์˜ ๊ฐ€์ค‘์น˜์ด๋‹ค.

3. ์ผ๊ด€์„ฑ ์ œ์•ฝ ์กฐ๊ฑด
- ๋ถ€ํ”ผ ๋ฐ€๋„ ฯƒ: ๊ณต๊ฐ„์  ์œ„์น˜ x ๋งŒ์„ ์ž…๋ ฅ์œผ๋กœ ์‚ฌ์šฉํ•˜์—ฌ ์˜ˆ์ธกํ•œ๋‹ค. (only use location X)
- ์ƒ‰์ƒ c: ์œ„์น˜ X ์™€ ์‹œ์  ๋ฐฉํ–ฅ d ๋ฅผ ๋ชจ๋‘ ์‚ฌ์šฉํ•˜์—ฌ ์˜ˆ์ธกํ•œ๋‹ค.

 

๊ตฌ์ฒด์  ์„ค๊ณ„ ๋ฐฉ์‹:

- MLP ๋Š” x ๋ฅผ ์ž…๋ ฅ์œผ๋กœ ๋ฐ›์•„ 8๊ฐœ์˜ fully connected layer (ReLU ํ™œ์„ฑํ™” ํ•จ์ˆ˜, ๋ ˆ์ด์–ด๋‹น 256 ์ฑ„๋„) ๋กœ ์ฒ˜๋ฆฌํ•œ๋‹ค.
- ์ด ๊ณผ์ •์—์„œ ฯƒ ์™€ 256์ฐจ์›์˜ ํŠน์„ฑ ๋ฒกํ„ฐ๋ฅผ ์ถœ๋ ฅํ•œ๋‹ค.
- ํŠน์„ฑ ๋ฒกํ„ฐ๋Š” ์‹œ์  ๋ฐฉํ–ฅ d ์™€ ๊ฒฐํ•ฉ๋˜์–ด 1๊ฐœ์˜ ์ถ”๊ฐ€ fully connected layer (ReLU ํ™œ์„ฑํ™” ํ•จ์ˆ˜, 128 ์ฑ„๋„) ๋กœ ์ „๋‹ฌ๋˜๋ฉฐ, ์—ฌ๊ธฐ์„œ ์‹œ์  ์˜์กด์ ์ธ RGB ์ƒ‰์ƒ์ด ์ถœ๋ ฅ๋œ๋‹ค.

์‹œ์  ์˜์กด์„ฑ์˜ ํšจ๊ณผ:
- ์‹œ์  ์˜์กด์„ฑ์„ ํฌํ•จํ•˜๋ฉด non-Lambertian effects (์˜ˆ: ๋ฐ˜์‚ฌ๊ด‘) ์„ ๋” ์ž˜ ํ‘œํ˜„ํ•  ์ˆ˜ ์žˆ๋‹ค. (Fig. 3 ์ฐธ๊ณ )
- ์‹œ์  ์˜์กด์„ฑ์„ ์ œ์™ธํ•œ ๋ชจ๋ธ (์ž…๋ ฅ์— x ๋งŒ ์‚ฌ์šฉ)์€ ๋ฐ˜์‚ฌ๊ด‘(Specularities)์„ ์ œ๋Œ€๋กœ ํ‘œํ˜„ํ•˜์ง€ ๋ชปํ•œ๋‹ค. (Fig. 4 ์ฐธ๊ณ )

 

 

Volume Rendering with Radiance Fields

(์ด ๋‚ด์šฉ์€ ๋ฐ‘์— ์†”์•„ํ‘œ ๋ถ€๋ก์œผ๋กœ ์˜ฌ๋ ค๋†“๋Š” note ์— ์ข€ ๋” ์ž์„ธํžˆ ๊ธฐ์ˆ ํ•˜๋„๋ก ํ•˜๊ฒ ๋‹ค.)

 

5์ฐจ์› Neural Radiance Field ๋Š” ๊ณต๊ฐ„์˜ ์ž„์˜์˜ ์ ์—์„œ ๋ถ€ํ”ผ์˜ ๋ฐ€๋„ ฯƒ ์™€ ๋ฐฉ์ถœ๋˜๋Š” ๋ณต์‚ฌ(r, g, b) ๋ฅผ ํ†ตํ•ด ์žฅ๋ฉด์„ ํ‘œํ˜„ํ•œ๋‹ค.

์žฅ๋ฉด์„ ํ†ต๊ณผํ•˜๋Š” ์ž„์˜์˜ ๊ด‘์„ (Ray) ์ƒ‰์ƒ์„ ๋ Œ๋”๋ง ํ•˜๊ธฐ ์œ„ํ•ด ์ด ๋…ผ๋ฌธ์—์„œ๋Š” classical volume rendering ์˜ ์›๋ฆฌ๋ฅผ ์‚ฌ์šฉํ•œ๋‹ค.

 

1. ๋ถ€ํ”ผ ๋ฐ€๋„ (ฯƒ(x)) ์˜ ํ•ด์„:
- ๋ถ€ํ”ผ ๋ฐ€๋„๋Š” ray ๊ฐ€ ํŠน์ • ์œ„์น˜ x ์˜ ๋ฏธ์†Œ ์ž…์ž(infinitesimal particle)์—์„œ ์ข…๋ฃŒ๋  ํ™•๋ฅ ์„ ๋‚˜ํƒ€๋‚ธ๋‹ค.
- ์นด๋ฉ”๋ผ ๊ด‘์„  r(t) = o + td ์˜ ์ƒ‰์ƒ C(r) ์€ ๋‹ค์Œ๊ณผ ๊ฐ™์ด ๊ณ„์‚ฐ๋œ๋‹ค.

- T(t): ๋ˆ„์  ํˆฌ๊ณผ์œจ(accumulated transmittance), ์ฆ‰ ๊ด‘์„ ์ด tn์—์„œ t ๊นŒ์ง€ ๋‹ค๋ฅธ ์ž…์ž์™€ ์ถฉ๋Œํ•˜์ง€ ์•Š์„ ํ™•๋ฅ 

2. ๋ Œ๋”๋ง ํ”„๋กœ์„ธ์Šค:
- ์›ํ•˜๋Š” ๊ฐ€์ƒ ์นด๋ฉ”๋ผ์˜ ๊ฐ ํ”ฝ์…€์„ ํ†ต๊ณผํ•˜๋Š” ๊ด‘์„ ์— ๋Œ€ํ•ด ์œ„์˜ ์ƒ‰์ƒ ์ ๋ถ„ C(r) ๋ฅผ ๊ณ„์‚ฐํ•ด์•ผ ํ•œ๋‹ค.
- ์ด๋ฅผ ์œ„ํ•ด ์ˆ˜์น˜์  ์ ๋ถ„(quadrature) ๋ฐฉ์‹์„ ์‚ฌ์šฉํ•œ๋‹ค.

3. ์ƒ˜ํ”Œ๋ง ๊ธฐ๋ฒ•
- โญ๏ธ Stratified Sampling (๊ณ„์ธต์  ์ƒ˜ํ”Œ๋ง)
    - ๊ตฌ๊ฐ„ [tn, tf] ์„ N ๊ฐœ์˜ ๋™์ผํ•œ ๊ฐ„๊ฒฉ์œผ๋กœ ๋‚˜๋ˆ„๊ณ , ๊ฐ ๊ตฌ๊ฐ„์—์„œ ๋ฌด์ž‘์œ„๋กœ ํ•œ ์ƒ˜ํ”Œ์„ ์ถ”์ถœํ•œ๋‹ค.
    - ์ด ๋ฐฉ๋ฒ•์€ MLP ๊ฐ€ ์—ฐ์†์ ์ธ ์œ„์น˜์—์„œ ํ‰๊ฐ€๋˜๋„๋ก ํ•˜์—ฌ ์—ฐ์† ์žฅ๋ฉด ํ‘œํ˜„์ด ๊ฐ€๋Šฅํ•˜๊ฒŒ ๋งŒ๋“ ๋‹ค.

์†”์•„ํ‘œ ๋ถ€๋ก ๋ง›๋ณด๊ธฐ..

4. ์ƒ‰์ƒ C(r) ์˜ ์ˆ˜์น˜์  ๊ทผ์‚ฌ

- ์ƒ˜ํ”Œ (ci, ฯƒi) ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ C(r) ์„ ๋‹ค์Œ๊ณผ ๊ฐ™์ด ๊ณ„์‚ฐํ•œ๋‹ค.

- ์ด ๊ณ„์‚ฐ ๋ฐฉ์‹์€ ์ „ํ†ต์  alpha compositing (์•ŒํŒŒ ํ•ฉ์„ฑ) ๊ณผ ์œ ์‚ฌํ•˜๋ฉฐ, ์•ŒํŒŒ ๊ฐ’์ด ๋‹ค์Œ๊ณผ ๊ฐ™์ด ํ™˜์›๋œ๋‹ค.

 

 

Optimizing a Neural Radiance Field

 

์ด ์„น์…˜์—์„œ๋Š” NeRF ๋ฅผ ๊ณ ํ•ด์ƒ๋„ ๋ณต์žกํ•œ ์žฅ๋ฉด์œผ๋กœ ํšจ์œจ์ ์œผ๋กœ ํ‘œํ˜„ํ•˜๊ธฐ ์œ„ํ•œ ๋‘ ๊ฐ€์ง€ ๊ฐœ์„  ๋ฐฉ๋ฒ•์„ ์ œ์•ˆํ•œ๋‹ค.

1. Positional Encoding: ์ž…๋ ฅ ์ขŒํ‘œ๋ฅผ ๊ณ ์ฐจ์› ๊ณต๊ฐ„์œผ๋กœ ๋งคํ•‘ํ•˜์—ฌ ์‹ ๊ฒฝ๋ง์ด high-frequency (๊ณ ์ฃผํŒŒ) ์ •๋ณด๋ฅผ ์ž˜ ํ•™์Šตํ•  ์ˆ˜ ์žˆ๋„๋ก ๋„์›€

2. Hierarchical Sampling: ํšจ์œจ์ ์œผ๋กœ ๊ณ ์ฃผํŒŒ ํ‘œํ˜„์„ ์ƒ˜ํ”Œ๋ง

 

โญ๏ธ Positional encoding

- ์‹ ๊ฒฝ๋ง์€ ์ด๋ก ์ ์œผ๋กœ ๋ชจ๋“  ํ•จ์ˆ˜๋ฅผ ๊ทผ์‚ฌํ•  ์ˆ˜ ์žˆ์ง€๋งŒ (Universal Approcimation Theorm, ๋ณดํŽธ ๊ทผ์‚ฌ ์ •๋ฆฌ), ์‹ค์ œ๋กœ๋Š” ์ €์ฃผํŒŒ(low-frequency) ํ•จ์ˆ˜๋ฅผ ํ•™์Šตํ•˜๋Š” ๊ฒฝํ–ฅ์ด ์žˆ๋‹ค.

- Rahaman et al.์˜ ์—ฐ๊ตฌ์— ๋”ฐ๋ฅด๋ฉด, ์ž…๋ ฅ์„ ๊ณ ์ฃผํŒŒ ํ•จ์ˆ˜๋กœ ๋งคํ•‘ํ•œ ํ›„ ์‹ ๊ฒฝ๋ง์— ์ „๋‹ฌํ•˜๋ฉด ๊ณ ์ฃผํŒŒ ๋ณ€๋™์ด ํฌํ•จ๋œ ๋ฐ์ดํ„ฐ๋ฅผ ๋” ์ž˜ ๊ทผ์‚ฌํ•  ์ˆ˜ ์žˆ๋‹ค.

๋ฐฉ๋ฒ•:
1. ๋„คํŠธ์›Œํฌ ๊ตฌ์„ฑ:
- ๊ธฐ์กด์˜ NeRF ๋„คํŠธ์›Œํฌ Fฮธ ๋ฅผ ๋‘ ํ•จ์ˆ˜์˜ ์กฐํ•ฉ์œผ๋กœ ์žฌ๊ตฌ์„ฑํ•œ๋‹ค.

 

2. ์ธ์ฝ”๋”ฉ ํ•จ์ˆ˜ ฮณ:
- ์ž…๋ ฅ์„ ๊ณ ์ฐจ์› ๊ณต๊ฐ„ R^2L ์œผ๋กœ ๋งคํ•‘ํ•œ๋‹ค.

- ๊ฐ ์ขŒํ‘œ๊ฐ’ x์™€ ๋ทฐ์ž‰ ๋ฐฉํ–ฅ d์˜ ์„ธ ์„ฑ๋ถ„์— ๋Œ€ํ•ด ๋ณ„๋„๋กœ ์ ์šฉ
- x: [-1, 1] ๋ฒ”์œ„๋กœ ์ •๊ทœํ™”
- d: ๋‹จ์œ„ ๋ฒกํ„ฐ๋กœ [โˆ’1, 1] ๋ฒ”์œ„๋ฅผ ๊ฐ€์ง
- ์‹คํ—˜ ์„ค์ •: L=10 (์œ„์น˜ x), L=4 (๋ทฐ์ž‰ ๋ฐฉํ–ฅ d)

3. ์œ ์‚ฌํ•œ ์‚ฌ๋ก€
- Transformer ๋ชจ๋ธ: ์ˆœ์„œ ๊ฐœ๋…์ด ์—†๋Š” ๊ตฌ์กฐ์—์„œ ํ† ํฐ์˜ ์œ„์น˜๋ฅผ ์ œ๊ณตํ•˜๊ธฐ ์œ„ํ•ด ์‚ฌ์šฉํ–ˆ๋‹ค.
- ๋ณธ ์—ฐ๊ตฌ์—์„œ๋Š” ์—ฐ์†์ ์ธ ์ž…๋ ฅ ์ขŒํ‘œ๋ฅผ ๊ณ ์ฐจ์› ๊ณต๊ฐ„์œผ๋กœ ๋งคํ•‘ํ•˜์—ฌ ๊ณ ์ฃผํŒŒ ํ•จ์ˆ˜๋ฅผ ๋” ์ž˜ ๊ทผ์‚ฌํ•˜๊ธฐ ์œ„ํ•ด ํ™œ์šฉํ•œ๋‹ค.
- 3D ๋‹จ๋ฐฑ์งˆ ๊ตฌ์กฐ ๋ชจ๋ธ๋ง์—์„œ๋„ ๋น„์Šทํ•œ ์ ‘๊ทผ๋ฒ•์ด ์‚ฌ์šฉ๋œ๋‹ค. 

 

โญ๏ธ Hierarchical volume sampling

๋ฌธ์ œ์ :
- NeRF ๋„คํŠธ์›Œํฌ๋Š” ์นด๋ฉ”๋ผ ๊ด‘์„ (rays) ๋งˆ๋‹ค ๊ท ์ผํ•˜๊ฒŒ N ๊ฐœ์˜ ์ƒ˜ํ”Œ์„ ์ƒ์„ฑํ•˜์—ฌ ํ‰๊ฐ€ํ•˜์ง€๋งŒ, ์ด๋Š” ํšจ์œจ์„ฑ์ด ๋–จ์–ด์ง„๋‹ค.
    - ์ž์œ  ๊ณต๊ฐ„(free space) ๋ฐ ๊ฐ€๋ ค์ง„ ์˜์—ญ(occluded regions) ์€ ์ตœ์ข… ๋ Œ๋”๋ง์— ๊ฑฐ์˜ ๊ธฐ์—ฌํ•˜์ง€ ์•Š์Œ์—๋„ ๋ถˆ๊ตฌํ•˜๊ณ  ์ƒ˜ํ”Œ๋ง๋จ

ํ•ด๊ฒฐ์ฑ…:
- Hierarchical representation
    - ์žฅ๋ฉด์„ ํ‘œํ˜„ํ•˜๊ธฐ ์œ„ํ•ด ๋‘ ๊ฐœ์˜ ๋„คํŠธ์›Œํฌ("coarse" ์™€ "fine") ๋ฅผ ๋™์‹œ์— ์ตœ์ ํ™”ํ•œ๋‹ค.
    - ์ด๋ฅผ ํ†ตํ•ด ์ค‘์š”ํ•œ ์˜์—ญ์— ์ƒ˜ํ”Œ์„ ๋” ์ง‘์ค‘์‹œ์ผœ ๋ Œ๋”๋ง ํšจ์œจ์„ฑ์„ ์ฆ๊ฐ€์‹œํ‚จ๋‹ค.

๋ฐฉ๋ฒ•:

1. ์ฒซ ๋ฒˆ์งธ ์ƒ˜ํ”Œ๋ง:
- Stratified Sampling ์œผ๋กœ Nc ๊ฐœ์˜ ์ƒ˜ํ”Œ ์œ„์น˜๋ฅผ ์ƒ์„ฑํ•˜๊ณ , Coarse ๋„คํŠธ์›Œํฌ๋กœ ํ‰๊ฐ€ํ•œ๋‹ค.
- Eq. 5 ์— ๋”ฐ๋ผ, ๊ฐ ์ƒ˜ํ”Œ์˜ ์ƒ‰์ƒ Ci์™€ ๊ฐ€์ค‘์น˜ Wi ๋ฅผ ๊ณ„์‚ฐํ•œ๋‹ค.


- wi ๋ฅผ ์ •๊ทœํ™”ํ•˜์—ฌ ray ์ƒ์—์„œ์˜ ํ™•๋ฅ  ๋ถ„ํฌ(PDF) ๋ฅผ ์ƒ์„ฑํ•œ๋‹ค.

2. ๋‘ ๋ฒˆ์งธ ์ƒ˜ํ”Œ๋ง:
- ์—ญ๋ณ€ํ™˜ ์ƒ˜ํ”Œ๋ง(Inverse Transform Sampling) ์„ ์ด์šฉํ•ด ์ด ํ™•๋ฅ  ๋ถ„ํฌ์—์„œ Nf ๊ฐœ์˜ ์ƒˆ๋กœ์šด ์ƒ˜ํ”Œ ์œ„์น˜๋ฅผ ์ถ”๊ฐ€ ์ƒ์„ฑํ•œ๋‹ค.
- Fine ๋„คํŠธ์›Œํฌ๋Š” Nc+ Nf ๊ฐœ์˜ ์ƒ˜ํ”Œ(์ฒซ๋ฒˆ์งธ์™€ ๋‘๋ฒˆ์งธ ์ƒ˜ํ”Œ์„ ๋ชจ๋‘ ํฌํ•จ)์„ ํ‰๊ฐ€
- ์ตœ์ข… ์ƒ‰์ƒ์€ Eq. 3 ์— ๋”ฐ๋ผ ๊ณ„์‚ฐํ•œ๋‹ค.

3. ํšจ๊ณผ:
- ์ค‘์š”ํ•œ ์˜์—ญ์— ์ƒ˜ํ”Œ ์ง‘์ค‘
    - ์ƒ˜ํ”Œ์„ ์ค‘์š” ์˜์—ญ์œผ๋กœ ๋น„๊ท ์ผํ•˜๊ฒŒ ๋ฐฐ์น˜ํ•œ๋‹ค.
    - ์ด๋Š” ์ „ํ†ต์  ์ค‘์š”๋„ ์ƒ˜ํ”Œ๋ง(Importance Sampling) ๊ณผ ์œ ์‚ฌํ•˜์ง€๋งŒ, ๊ฐ ์ƒ˜ํ”Œ์„ ๋…๋ฆฝ์ ์ธ ์ถ”์ •์น˜๋กœ ์ฒ˜๋ฆฌํ•˜์ง€ ์•Š๊ณ  ์ „์ฒด ์ ๋ถ„ ์˜์—ญ์„ ๋น„๊ท ์ผํ•˜๊ฒŒ ๋ถ„ํ• ํ•œ๋‹ค.

์†”์•„ํ‘œ ๋ถ€๋ก ๋ง›๋ตˆ๊ธฐ..

 

Implementation details

<์ตœ์ ํ™” ๊ณผ์ •>

- ์ž…๋ ฅ ๋ฐ์ดํ„ฐ:
    - RGB ์ด๋ฏธ์ง€, ์นด๋ฉ”๋ผ์˜ ํฌ์ฆˆ ๋ฐ ๋‚ด๋ถ€ ํŒŒ๋ผ๋ฏธํ„ฐ, ์žฅ๋ฉด ๊ฒฝ๊ณ„ ์ •๋ณด.
    - ์‹คํ—˜ ๋ฐ์ดํ„ฐ: 
        - ํ•ฉ์„ฑ ๋ฐ์ดํ„ฐ๋Š” ์‹ค์ œ ์นด๋ฉ”๋ผ ์ •๋ณด๋ฅผ ์‚ฌ์šฉํ–ˆ๋‹ค.
        - ์‹ค์ œ ๋ฐ์ดํ„ฐ๋Š” COLMAP ์„ ์‚ฌ์šฉํ•˜์—ฌ ์นด๋ฉ”๋ผ ํŒŒ๋ผ๋ฏธํ„ฐ๋ฅผ ์ถ”์ •ํ–ˆ๋‹ค.

- ์ตœ์ ํ™” ์•Œ๊ณ ๋ฆฌ์ฆ˜:
1. ๋žœ๋ค์œผ๋กœ 4,096๊ฐœ์˜ ๊ด‘์„  ๋ฐฐ์น˜ ์ƒ˜ํ”Œ๋ง
2. coarse ๋„คํŠธ์›Œํฌ: Nc = 64 ๊ฐœ์˜ ์ƒ˜ํ”Œ ํ‰๊ฐ€
3. fine ๋„คํŠธ์›Œํฌ: ์ถ”๊ฐ€๋กœ Nf = 128 ๊ฐœ์˜ ์ƒ˜ํ”Œ ํ‰๊ฐ€
4. Eq. 6 ์— ๋”ฐ๋ผ ์†์‹ค(Loss) ๊ณ„์‚ฐ => L2 loss function ์‚ฌ์šฉ

 

<์‹คํ—˜ ์„ค์ •>

- ์ตœ์ ํ™” ์„ธ๋ถ€ ์‚ฌํ•ญ:

- ์˜ตํ‹ฐ๋งˆ์ด์ €: Adam.
-  ์ดˆ๊ธฐ ํ•™์Šต๋ฅ : 5 x 10^-4, ์ตœ์ข… ํ•™์Šต๋ฅ : 5 x 10^-5
- ํ•™์Šต๋ฅ ์€ ์ง€์ˆ˜์ ์œผ๋กœ ๊ฐ์†Œ์‹œ์ผฐ๋‹ค.
- ์ผ๋ฐ˜์ ์ธ ์ตœ์ ํ™” ๋ฐ˜๋ณต ์ˆ˜: 100k ~ 300k
- ๋‹จ์ผ NVIDIA V100 GPU์—์„œ 1 ~ 2์ผ ์†Œ์š”. => ์„ธ์ƒ์— ์ •๋ง ๋„ˆ๋ฌด ๋Š๋ฆฌ๋‹ค โ€ผ๏ธ

 

Result

์ด ๋…ผ๋ฌธ์—์„œ๋Š” ์ •๋Ÿ‰์  ๊ฒฐ๊ณผ(Tab. 1)์™€ ์ •์„ฑ์  ๊ฒฐ๊ณผ(Fig. 8, Fig. 6)๋ฅผ ํ†ตํ•ด ์ด์ „ ์—ฐ๊ตฌ๋ณด๋‹ค์˜ ์šฐ์ˆ˜์„ฑ์„ ์ž…์ฆํ•˜๋ฉฐ ๋””์ž์ธ ์„ ํƒ์„ ๊ฒ€์ฆํ•˜๊ธฐ ์œ„ํ•œ ๋‹ค์–‘ํ•œ ์ œ๊ฑฐ ์—ฐ๊ตฌ(ablations) ๋„ ์ œ๊ณตํ–ˆ๋‹ค.(Tab. 2) 

Datasets

1. ๊ฐ์ฒด์˜ ํ•ฉ์„ฑ ๋ Œ๋”๋ง
์ด ๋…ผ๋ฌธ์—์„œ๋Š” ๋‘ ๊ฐ€์ง€ ํ•ฉ์„ฑ ๊ฐ์ฒด ๋ Œ๋”๋ง ๋ฐ์ดํ„ฐ์…‹์—์„œ ์‹คํ—˜ ๊ฒฐ๊ณผ๋ฅผ ๋ณด์—ฌ์ค€๋‹ค. (Table 1์˜ โ€œDiffuse Synthetic 360ยฐโ€์™€ โ€œRealistic Synthetic 360ยฐโ€)

- DeepVoxels ๋ฐ์ดํ„ฐ์…‹: ๋‹จ์ˆœํ•œ ๊ธฐํ•˜ํ•™์„ ๊ฐ€์ง„ 4๊ฐœ์˜ ๋žจ๋ฒ„์‹œ์•ˆ(Lambertian) ๊ฐ์ฒด๋ฅผ ํฌํ•จ, ๊ฐ ๊ฐ์ฒด๋Š” ์ƒ๋ถ€ ๋ฐ˜๊ตฌ์—์„œ ์ƒ˜ํ”Œ๋ง๋œ ๋ทฐํฌ์ธํŠธ์—์„œ 512ร—512 ํ”ฝ์…€๋กœ ๋ Œ๋”๋ง(์ž…๋ ฅ 479๊ฐœ, ํ…Œ์ŠคํŠธ 1000๊ฐœ)

- ์ง์ ‘ ์ƒ์„ฑํ•œ ๋ฐ์ดํ„ฐ์…‹: ๋ณต์žกํ•œ ๊ธฐํ•˜ํ•™๊ณผ ํ˜„์‹ค์ ์ธ ๋น„๋žจ๋ฒ„์‹œ์•ˆ(Non-Lambertian) ์žฌ์งˆ์„ ๊ฐ€์ง„ 8๊ฐœ์˜ ๊ฐ์ฒด ์ด๋ฏธ์ง€ ํฌํ•จ, ์ƒ๋ถ€ ๋ฐ˜๊ตฌ์—์„œ ์ƒ˜ํ”Œ๋ง๋œ ๋ทฐํฌ์ธํŠธ๋กœ ๋ Œ๋”๋ง๋œ ๊ฐ์ฒด 6๊ฐœ, ์™„์ „ ๊ตฌํ˜•์œผ๋กœ ์ƒ˜ํ”Œ๋ง๋œ ๊ฐ์ฒด 2๊ฐœ, ๊ฐ ์žฅ๋ฉด๋‹น ์ž…๋ ฅ ์ด๋ฏธ์ง€ 100๊ฐœ, ํ…Œ์ŠคํŠธ ์ด๋ฏธ์ง€ 200๊ฐœ, ๋ชจ๋“  ์ด๋ฏธ์ง€ ํ•ด์ƒ๋„๋Š” 800ร—800 ํ”ฝ์…€

2. ๋ณต์žกํ•œ ์žฅ๋ฉด์˜ ์‹ค์ œ ์ด๋ฏธ์ง€
๋ณต์žกํ•œ ์‹ค์ œ ์žฅ๋ฉด์—์„œ ์‹คํ—˜ ๊ฒฐ๊ณผ๋ฅผ ๋ณด์—ฌ์ค€๋‹ค.(Table 1 ์˜ โ€œReal Forward-Facingโ€)

- ๋ฐ์ดํ„ฐ์…‹ ๊ตฌ์„ฑ: ํœด๋Œ€ํฐ์œผ๋กœ ๋Œ€๋žต์ ์œผ๋กœ ์ „๋ฐฉ์„ ํ–ฅํ•˜๋Š” ์ด๋ฏธ์ง€ 8๊ฐœ ์žฅ๋ฉด ์บก์ฒ˜, 5๊ฐœ๋Š” LLFF ๋…ผ๋ฌธ์—์„œ ๊ฐ€์ ธ์˜จ ์ด๋ฏธ์ง€์ด๊ณ , 3๊ฐœ๋Š” ์ง์ ‘ ์บก์ฒ˜ํ•œ ์ด๋ฏธ์ง€, ๊ฐ ์žฅ๋ฉด๋‹น 20~62๊ฐœ์˜ ์ด๋ฏธ์ง€๋กœ ๊ตฌ์„ฑ๋˜๋ฉฐ, ๊ทธ์ค‘ 1/8์€ ํ…Œ์ŠคํŠธ ์„ธํŠธ๋กœ ์‚ฌ์šฉ, ๋ชจ๋“  ์ด๋ฏธ์ง€์˜ ํ•ด์ƒ๋„๋Š” 1008ร—756 ํ”ฝ์…€

 

Comparisons

NeRF ๋ชจ๋ธ์„ ํ‰๊ฐ€ํ•˜๊ธฐ ์œ„ํ•ด ํ˜„์žฌ ์ตœ์ƒ์œ„ ์„ฑ๋Šฅ์„ ๋ณด์ด๋Š” ๋ทฐ ํ•ฉ์„ฑ ๊ธฐ์ˆ ๊ณผ ๋น„๊ตํ•˜์˜€๋‹ค. ๋ชจ๋“  ๋ฐฉ๋ฒ•์€ ๋™์ผํ•œ ์ž…๋ ฅ ๋ทฐ ์ง‘ํ•ฉ์„ ์‚ฌ์šฉํ•˜์—ฌ ๊ฐ ์žฅ๋ฉด์— ๋Œ€ํ•ด ๋ณ„๋„์˜ ๋„คํŠธ์›Œํฌ๋ฅผ ํ›ˆ๋ จํ•œ๋‹ค. ๋‹จ, Local Light Field Fusion (LLFF) ์€ ๋Œ€๊ทœ๋ชจ ๋ฐ์ดํ„ฐ์…‹์—์„œ ๋‹จ์ผ 3D ์ปจ๋ณผ๋ฃจ์…˜ ๋„คํŠธ์›Œํฌ๋ฅผ ํ›ˆ๋ จํ•œ ํ›„, ํ…Œ์ŠคํŠธ ์‹œ ์ƒˆ๋กœ์šด ์žฅ๋ฉด์˜ ์ž…๋ ฅ ์ด๋ฏธ์ง€๋ฅผ ์ฒ˜๋ฆฌํ•˜๋Š” ๋ฐ ๋™์ผํ•œ ํ›ˆ๋ จ ๋„คํŠธ์›Œํฌ๋ฅผ ์‚ฌ์šฉํ•œ๋‹ค.

1. Neural Volumes (NV)
- ํŠน์ง•: ๊ด€์‹ฌ ๊ฐ์ฒด๊ฐ€ ๋ณ„๋„์˜ ๋ฐฐ๊ฒฝ ์•ž์˜ ๊ฒฝ๊ณ„๋œ ๋ณผ๋ฅจ ๋‚ด์— ์™„์ „ํžˆ ์œ„์น˜ํ•œ ๊ฒฝ์šฐ ์ƒˆ๋กœ์šด ๋ทฐ๋ฅผ ํ•ฉ์„ฑํ•œ๋‹ค.
- ๊ตฌํ˜„:
    - ๊นŠ์ด 3D ์ปจ๋ณผ๋ฃจ์…˜ ๋„คํŠธ์›Œํฌ๋ฅผ ์ตœ์ ํ™”ํ•˜์—ฌ discreted RGBฮฑ ๋ณต์…€ ๊ทธ๋ฆฌ๋“œ (128^3 ์ƒ˜ํ”Œ) ์™€ 3D ์™œ๊ณก(warp) ๊ทธ๋ฆฌ๋“œ (32^3) ์ƒ˜ํ”Œ์„ ์˜ˆ์ธกํ•œ๋‹ค.
    - ์ƒˆ๋กœ์šด ๋ทฐ๋Š” ์™œ๊ณก๋œ ๋ณต์…€ ๊ทธ๋ฆฌ๋“œ๋ฅผ ํ†ตํ•ด ์นด๋ฉ”๋ผ ๊ด‘์„ ์„ ์ด๋™์‹œ์ผœ ๋ Œ๋”๋งํ•œ๋‹ค. 

2. Scene Representation Networks (SRN)
- ํŠน์ง•:
์žฅ๋ฉด์„ ๋ถˆํˆฌ๋ช…ํ•œ ํ‘œ๋ฉด์œผ๋กœ ํ‘œํ˜„ํ•˜๋ฉฐ, ์ด๋Š” MLP๋กœ ์•”๋ฌต์ ์œผ๋กœ ์ •์˜๋˜๊ณ , ๊ฐ (x, y, z) ์ขŒํ‘œ๋ฅผ ํŠน์ง• ๋ฒกํ„ฐ๋กœ ๋งคํ•‘- ๊ตฌํ˜„:
    - ๊นŠ์ด 3D ์ปจ๋ณผ๋ฃจ์…˜ ๋„คํŠธ์›Œํฌ๋ฅผ ์ตœ์ ํ™”ํ•˜์—ฌ discreted RGBฮฑ ๋ณต์…€ ๊ทธ๋ฆฌ๋“œ (128^3 ์ƒ˜ํ”Œ) ์™€ 3D ์™œ๊ณก(warp) ๊ทธ๋ฆฌ๋“œ (32^3) ์ƒ˜ํ”Œ์„ ์˜ˆ์ธกํ•œ๋‹ค.
    - ์ƒˆ๋กœ์šด ๋ทฐ๋Š” ์™œ๊ณก๋œ ๋ณต์…€ ๊ทธ๋ฆฌ๋“œ๋ฅผ ํ†ตํ•ด ์นด๋ฉ”๋ผ ๊ด‘์„ ์„ ์ด๋™์‹œ์ผœ ๋ Œ๋”๋งํ•œ๋‹ค. 

3. Local Light Field Fusion (LLFF)
- ํŠน์ง•: ์ž˜ ์ƒ˜ํ”Œ๋ง๋œ ์ „๋ฐฉ-๋Œ€๋ฉด ์žฅ๋ฉด์—์„œ ํฌํ† ๋ฆฌ์–ผ๋ฆฌ์Šคํ‹ฑํ•œ ์ƒˆ๋กœ์šด ๋ทฐ๋ฅผ ์ƒ์„ฑ
- ๊ตฌํ˜„:
    -
ํ›ˆ๋ จ๋œ 3D ์ปจ๋ณผ๋ฃจ์…˜ ๋„คํŠธ์›Œํฌ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ๊ฐ ์ž…๋ ฅ ๋ทฐ์— ๋Œ€ํ•ด ํ”„๋Ÿฌ์Šคํ…€(frustum)-์ƒ˜ํ”Œ๋ง๋œ RGBฮฑ ๊ทธ๋ฆฌ๋“œ (๋ฉ€ํ‹ฐํ”Œ๋ ˆ์ธ ์ด๋ฏธ์ง€ ๋˜๋Š” MPI)๋ฅผ ์˜ˆ์ธกํ•œ๋‹ค.
    - ์ƒˆ๋กœ์šด ๋ทฐ๋Š” ์•ŒํŒŒ ํ•ฉ์„ฑ๊ณผ ์ธ์ ‘ MPI ํ˜ผํ•ฉ์„ ํ†ตํ•ด ๋ Œ๋”๋ง ๋œ๋‹ค.

 

 

Discussion

- ๋ชจ๋ธ ์„ฑ๋Šฅ ๋น„๊ต:
    - NV์™€ SRN์ฒ˜๋Ÿผ ๊ฐ ์žฅ๋ฉด์— ๋Œ€ํ•ด ๋ณ„๋„์˜ ๋„คํŠธ์›Œํฌ๋ฅผ ์ตœ์ ํ™”ํ•˜๋Š” ๋ฒ ์ด์Šค๋ผ์ธ์„ ๋ชจ๋“  ์‹œ๋‚˜๋ฆฌ์˜ค์—์„œ ์™„์ „ํžˆ ๋Šฅ๊ฐ€ํ–ˆ๋‹ค.
    - LLFF์™€ ๋น„๊ตํ•ด, ์ž…๋ ฅ ์ด๋ฏธ์ง€๋งŒ ํ›ˆ๋ จ ๋ฐ์ดํ„ฐ๋กœ ์‚ฌ์šฉํ•˜๋ฉด์„œ๋„ ๋Œ€๋ถ€๋ถ„์˜ ๋ฉ”ํŠธ๋ฆญ์—์„œ ์ •๋Ÿ‰์ , ์ •์„ฑ์ ์œผ๋กœ ์šฐ์ˆ˜ํ•œ ๋ Œ๋”๋ง์„ ์ƒ์„ฑํ–ˆ๋‹ค.

- ๊ฐ ๋ฐฉ๋ฒ•์˜ ํ•œ๊ณ„:
    - SRN: ์ง€์˜ค๋ฉ”ํŠธ๋ฆฌ์™€ ํ…์Šค์ฒ˜๊ฐ€ ์ง€๋‚˜์น˜๊ฒŒ ๋ถ€๋“œ๋Ÿฝ๊ฒŒ ํ‘œํ˜„๋˜๋ฉฐ, ์นด๋ฉ”๋ผ ๊ด‘์„ ๋‹น ๋‹จ์ผ ๊นŠ์ด์™€ ์ƒ‰์ƒ๋งŒ ์„ ํƒํ•˜๋Š” ๋ฐฉ์‹์ด ๋ทฐ ํ•ฉ์„ฑ์˜ ํ‘œํ˜„๋ ฅ์„ ์ œํ•œํ•œ๋‹ค.
    - NV: ๋ณผ๋ฅจํ˜• ์ง€์˜ค๋ฉ”ํŠธ๋ฆฌ์™€ ์™ธํ˜•์„ ๋น„๊ต์  ์ƒ์„ธํ•˜๊ฒŒ ์บก์ฒ˜ํ•  ์ˆ˜ ์žˆ์ง€๋งŒ, 128ยณ ๋ณต์…€ ๊ทธ๋ฆฌ๋“œ๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ๋ช…์‹œ์  ๊ตฌ์กฐ๋กœ ์ธํ•ด ๊ณ ํ•ด์ƒ๋„์—์„œ ์„ธ๋ฐ€ํ•œ ๋””ํ…Œ์ผ์„ ํ‘œํ˜„ํ•˜๋Š” ๋ฐ ํ•œ๊ณ„๊ฐ€ ์žˆ๋‹ค.
    - LLFF: ์ƒ˜ํ”Œ๋ง ์ง€์นจ(์ž…๋ ฅ ๋ทฐ ๊ฐ„์˜ ์ฐจ์ด๊ฐ€ 64 ํ”ฝ์…€์„ ์ดˆ๊ณผํ•˜์ง€ ์•Š๋„๋ก ๊ถŒ์žฅ)์„ ๋”ฐ๋ฅธ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ์ด๋Š” 400-500 ํ”ฝ์…€ ์ฐจ์ด๋ฅผ ๊ฐ€์ง„ ํ•ฉ์„ฑ ๋ฐ์ดํ„ฐ์…‹์—์„œ ์˜ฌ๋ฐ”๋ฅธ ์ง€์˜ค๋ฉ”ํŠธ๋ฆฌ๋ฅผ ์˜ˆ์ธกํ•˜์ง€ ๋ชปํ•˜๊ฒŒ ๋งŒ๋“ ๋‹ค. LLFF๋Š” ์„œ๋กœ ๋‹ค๋ฅธ ์žฅ๋ฉด ํ‘œํ˜„์„ ํ˜ผํ•ฉํ•˜์—ฌ ๋ Œ๋”๋งํ•˜๋ฏ€๋กœ ์ผ๊ด€์„ฑ ์—†๋Š” ์‹œ๊ฐ์  ํ‘œํ˜„์„ ์ƒ์„ฑํ•˜๋ฉฐ, ์ด๋Š” ๋ณด์กฐ ์˜์ƒ์—์„œ ๋ช…ํ™•ํžˆ ๋“œ๋Ÿฌ๋‚œ๋‹ค.

- ์‹œ๊ฐ„๊ณผ ๋ฉ”๋ชจ๋ฆฌ์˜ ์‹ค์šฉ์  ํŠธ๋ ˆ์ด๋“œ์˜คํ”„:
    - ๋‹จ์ผ ์žฅ๋ฉด ๊ธฐ๋ฐ˜์˜ ๋น„๊ต ๋ฐฉ๋ฒ•๋“ค์€ ์žฅ๋ฉด๋‹น ์ตœ์†Œ 12์‹œ๊ฐ„์˜ ํ›ˆ๋ จ ์‹œ๊ฐ„์ด ํ•„์š”
    - LLFF: ์ž…๋ ฅ ๋ฐ์ดํ„ฐ์…‹์„ ์ฒ˜๋ฆฌํ•˜๋Š” ๋ฐ 10๋ถ„ ๋ฏธ๋งŒ์ด ์†Œ์š”๋˜์ง€๋งŒ, ์ž…๋ ฅ ์ด๋ฏธ์ง€๋‹น ๊ฑฐ๋Œ€ํ•œ 3D ๋ณต์…€ ๊ทธ๋ฆฌ๋“œ(15GB ์ด์ƒ)๋ฅผ ์ƒ์„ฑํ•˜์—ฌ ์ €์žฅ ์š”๊ตฌ๋Ÿ‰์ด ๋งค์šฐ ํฌ๋‹ค.
    - NeRF ๋ฐฉ๋ฒ•: ๋„คํŠธ์›Œํฌ ๊ฐ€์ค‘์น˜์— 5MB๋งŒ ํ•„์š”ํ•˜๋ฉฐ, ์ด๋Š” LLFF ๋Œ€๋น„ ์•ฝ 3000๋ฐฐ ์••์ถ•๋œ ๊ฒฐ๊ณผ๋กœ, ์ž…๋ ฅ ์ด๋ฏธ์ง€ ์ž์ฒด๋ณด๋‹ค๋„ ์ ์€ ๋ฉ”๋ชจ๋ฆฌ๋ฅผ ์š”๊ตฌํ•œ๋‹ค. => ์• ์ดˆ์— convolution ๋„ ์•„๋‹ˆ๊ณ  FC layer๋กœ ๋ช‡๊ฐœ ์ธต ๋ถ™์—ฌ์„œ ๋ชจ๋ธ์„ ๊ตฌํ˜„ํ•œ๊ฒƒ์ด ๋ชจ๋ธ ์ž์ฒด๊ฐ€ ๋งค์šฐ ๊ฐ€๋ณ๋‹ค๋Š” ๋œป...

 

Ablation studies

- ์•Œ๊ณ ๋ฆฌ์ฆ˜์˜ ์„ค๊ณ„ ์„ ํƒ๊ณผ ๋งค๊ฐœ๋ณ€์ˆ˜ ๊ฒ€์ฆ:
    - โ€œRealistic Synthetic 360ยฐโ€ ์žฅ๋ฉด์—์„œ ๊ฒ€์ฆ์„ ์ง„ํ–‰
    - ์ฐธ์กฐ ๋ชจ๋ธ: Row 9๊ฐ€ ์™„์ „ํ•œ ๋ชจ๋ธ

- ๊ตฌ์„ฑ ์š”์†Œ ์ œ๊ฑฐ ์‹คํ—˜:
    - Row 1: ์ตœ์†Œ ๊ตฌ์„ฑ ๋ชจ๋ธ (์œ„์น˜ ์ธ์ฝ”๋”ฉ(PE), ์‹œ์  ์˜์กด์„ฑ(VD), ๊ณ„์ธต์  ์ƒ˜ํ”Œ๋ง(H) ์ œ๊ฑฐ)
    - Row 2โ€“4: ๊ฐ ๊ตฌ์„ฑ ์š”์†Œ๋ฅผ ํ•˜๋‚˜์”ฉ ์ œ๊ฑฐํ–ˆ์„ ๋•Œ, ์œ„์น˜ ์ธ์ฝ”๋”ฉ(PE)๊ณผ ์‹œ์  ์˜์กด์„ฑ(VD)์ด ๊ฐ€์žฅ ํฐ ์„ฑ๋Šฅ ํ–ฅ์ƒ์„ ์ œ๊ณตํ•˜๋ฉฐ, ๊ณ„์ธต์  ์ƒ˜ํ”Œ๋ง(H)์ด ๊ทธ ๋’ค๋ฅผ ์ด์—ˆ๋‹ค.

- ์ž…๋ ฅ ์ด๋ฏธ์ง€ ์ˆ˜ ๊ฐ์†Œ ์‹คํ—˜:
    - Row 5โ€“6: ์ž…๋ ฅ ์ด๋ฏธ์ง€ ์ˆ˜๋ฅผ ์ค„์ผ์ˆ˜๋ก ์„ฑ๋Šฅ์ด ๊ฐ์†Œ
    - ๋‹จ, 25์žฅ์˜ ์ž…๋ ฅ ์ด๋ฏธ์ง€๋งŒ ์‚ฌ์šฉํ•ด๋„ NV, SRN, LLFF๊ฐ€ 100์žฅ์œผ๋กœ ์–ป์€ ์„ฑ๋Šฅ์„ ๋ชจ๋“  ๋ฉ”ํŠธ๋ฆญ์—์„œ ๋Šฅ๊ฐ€

- ์ตœ๋Œ€ ์ฃผํŒŒ์ˆ˜ ๋งค๊ฐœ๋ณ€์ˆ˜ L ๊ฒ€์ฆ:
    - Row 7โ€“8: ์œ„์น˜ ์ธ์ฝ”๋”ฉ์—์„œ x์— ์‚ฌ์šฉ๋œ ์ตœ๋Œ€ ์ฃผํŒŒ์ˆ˜ L์— ๋”ฐ๋ผ ์„ฑ๋Šฅ ๋ณ€ํ™”๋ฅผ ํ™•์ธ
    - ์ฃผํŒŒ์ˆ˜๋ฅผ 5๋กœ ์ค„์ด๋ฉด ์„ฑ๋Šฅ์ด ๊ฐ์†Œํ–ˆ์ง€๋งŒ, 10์—์„œ 15๋กœ ๋Š˜๋ ค๋„ ์„ฑ๋Šฅ ํ–ฅ์ƒ์ด ์—†์—ˆ๋‹ค.
    - ์ด๋Š” 2^L์ด ์ƒ˜ํ”Œ๋ง๋œ ์ž…๋ ฅ ์ด๋ฏธ์ง€์—์„œ ๋‚˜ํƒ€๋‚˜๋Š” ์ตœ๋Œ€ ์ฃผํŒŒ์ˆ˜ (์•ฝ 1024)๋ฅผ ์ดˆ๊ณผํ•  ๊ฒฝ์šฐ, ๋” ์ด์ƒ ์ด์ ์ด ์—†๊ธฐ ๋•Œ๋ฌธ์ด๋ผ๊ณ  ๋ถ„์„๋จ

 

 

Conclusion

์ด ์—ฐ๊ตฌ๋Š” ๊ฐ์ฒด์™€ ์žฅ๋ฉด์„ ์—ฐ์† ํ•จ์ˆ˜๋กœ ๋‚˜ํƒ€๋‚ด๊ธฐ ์œ„ํ•ด MLP ๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ๊ธฐ์กด ์—ฐ๊ตฌ์˜ ๊ฒฐํ•จ์„ ์ง์ ‘์ ์œผ๋กœ ํ•ด๊ฒฐํ•œ๋‹ค.

- 5D NeRF ๋กœ ์žฅ๋ฉด์„ ํ‘œํ˜„ํ•˜๋Š” ๊ธฐ์กด์˜ ๋”ฅ ์ปจ๋ณผ๋ฃจ์…˜ ๋„คํŠธ์›Œํฌ๋ฅผ ํ›ˆ๋ จํ•˜์—ฌ ์ด์‚ฐ์ ์ธ ๋ณต์…€ ํ‘œํ˜„์„ ์ถœ๋ ฅํ•˜๋Š” ๋ฐฉ์‹๋ณด๋‹ค ๋” ๋‚˜์€ ๋ Œ๋”๋ง ๊ฒฐ๊ณผ๋ฅผ ์ƒ์„ฑํ•œ๋‹ค๋Š” ๊ฒƒ์„ ์ž…์ฆํ–ˆ๋‹ค.
    - 5D ์‹ ๊ฒฝ ๋ฐฉ์‚ฌ ํ•„๋“œ: 3D ์œ„์น˜์™€ 2D ์‹œ์  ๋ฐฉํ–ฅ์„ ์ž…๋ ฅ๋ฐ›์•„ ๋ณผ๋ฅจ ๋ฐ€๋„์™€ ์‹œ์  ์˜์กด์ ์ธ ๋ฐฉ์‚ฌ๊ด‘(RGB) ์„ ์ถœ๋ ฅํ•˜๋Š” MLP

- ๊ณ„์ธต์  ์ƒ˜ํ”Œ๋ง ์ „๋žต์„ ์ œ์•ˆํ•˜์—ฌ ํ›ˆ๋ จ๊ณผ ํ…Œ์ŠคํŠธ์—์„œ ์ƒ˜ํ”Œ ํšจ์œจ์„ฑ์„ ๋†’์˜€์ง€๋งŒ, ์—ฌ์ „ํžˆ ์‹ ๊ฒฝ ๋ฐฉ์‚ฌ ํ•„๋“œ๋ฅผ ํšจ์œจ์ ์œผ๋กœ ์ตœ์ ํ™”ํ•˜๊ณ  ๋ Œ๋”๋งํ•˜๋Š” ๊ธฐ์ˆ ์— ๋Œ€ํ•ด ๋” ๋งŽ์€ ์—ฐ๊ตฌ๊ฐ€ ํ•„์š”

- ํ–ฅํ›„ ์—ฐ๊ตฌ ๋ฐฉํ–ฅ:
    - ํ•ด์„ ๊ฐ€๋Šฅ์„ฑ: ๋ณต์…€ ๊ทธ๋ฆฌ๋“œ๋‚˜ ๋ฉ”์‹œ์™€ ๊ฐ™์€ ์ƒ˜ํ”Œ ๊ธฐ๋ฐ˜ ํ‘œํ˜„์€ ๋ Œ๋”๋ง ํ’ˆ์งˆ๊ณผ ์‹คํŒจ ์‚ฌ๋ก€๋ฅผ ์˜ˆ์ƒํ•˜๋Š” ๋ฐ ์œ ์šฉ. ๊ทธ๋Ÿฌ๋‚˜, ์žฅ๋ฉด์„ ๋”ฅ ๋‰ด๋Ÿด ๋„คํŠธ์›Œํฌ์˜ ๊ฐ€์ค‘์น˜์— ์•”๋ฌต์ ์œผ๋กœ ์ธ์ฝ”๋”ฉํ•˜๋Š” ๊ฒฝ์šฐ ์ด๋Ÿฌํ•œ ๋ฌธ์ œ๋ฅผ ๋ถ„์„ํ•˜๋Š” ๋ฐฉ๋ฒ•์ด ๋ช…ํ™•ํ•˜์ง€ ์•Š๋‹ค.
    - ์ด ์—ฐ๊ตฌ๋Š” ํ˜„์‹ค ์„ธ๊ณ„์˜ ์ด๋ฏธ์ง€๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•œ ๊ทธ๋ž˜ํ”ฝ ํŒŒ์ดํ”„๋ผ์ธ์œผ๋กœ์˜ ๋ฐœ์ „์— ๊ธฐ์—ฌํ•œ๋‹ค. ์ด๋Š” ์‹ค์ œ ๊ฐ์ฒด์™€ ์žฅ๋ฉด์˜ ์ด๋ฏธ์ง€์—์„œ ์ตœ์ ํ™”๋œ ์‹ ๊ฒฝ ๋ฐฉ์‚ฌ ํ•„๋“œ๋กœ ๊ตฌ์„ฑ๋œ ๋ณต์žกํ•œ ์žฅ๋ฉด์„ ์ƒ์„ฑํ•˜๋Š” ๋ฐ ๊ธฐ์—ฌํ•  ์ˆ˜ ์žˆ๋‹ค.

 

 

์•„๋ž˜๋Š” ๋…ผ๋ฌธ ๊ณต๋ถ€๋ฅผ ํ•˜๋ฉด์„œ ์ž‘์„ฑํ•œ ๋…ธํŠธ์ž…๋‹ˆ๋‹ค. ํ•„๊ธฐ๋ณธ์ด ๋” ์ดํ•ด๊ฐ€ ์ž˜ ๊ฐˆ ์ˆ˜๋„ ์žˆ๊ธฐ ๋•Œ๋ฌธ์— ์ฐธ๊ณ ์šฉ์œผ๋กœ ๋ด์ฃผ์‹œ๋ฉด ๊ฐ์‚ฌ๋“œ๋ฆฌ๊ฒ ์Šต๋‹ˆ๋‹ค.

 

์•„๋ž˜๋Š” ์ข€ ๋” ๋‚ด์šฉ ๋ณด์ถฉํ•˜์—ฌ ์ดํ•ด ์œ„ํ•ด ์œ ํŠœ๋ธŒ ๊ฐ•์˜๋ฅผ ๋ณด๊ณ , ์ •๋ฆฌํ•œ ํ•„๊ธฐ๋ณธ์ž…๋‹ˆ๋‹ค.

 

 

๊ธด ๊ธ€ ์ฝ์–ด์ฃผ์…”์„œ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค, ๊ณต๋ถ€ํ•œ ๊ฑธ ์ •๋ฆฌํ•  ๋ชฉ์ ์œผ๋กœ ์ž‘์„ฑ๋œ ๊ธ€์ž…๋‹ˆ๋‹ค.
NeRF ๋ชจ๋ธ์€ 3D reconstruction ์— ๊ด€ํ•œ ์—ฐ๊ตฌ๋ฅผ ํ•˜๊ธฐ ์œ„ํ•ด์„œ ํ•„์ˆ˜๋˜๋Š” ๋…ผ๋ฌธ์ด๊ธฐ ๋•Œ๋ฌธ์— ๋”์šฑ ๊นŠ์ด ์žˆ๊ฒŒ ํ•™์Šตํ•˜๋ฉด ์ข‹์„๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค! 

ํ”ผ๋“œ๋ฐฑ์— ๊ด€๋ จ๋œ ๋Œ“๊ธ€ ์ž‘์„ฑํ•ด์ฃผ์‹œ๋ฉด ๊ฐ์‚ฌํžˆ ์ƒ๊ฐํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค. ๐Ÿฅธ