NERF5 [Notable] 3DGS(3D gaussian splatting) ์ Differentiable ํ๊ฐ? โถ3DGS ๋ Explicit Representation (๋ช ์์ ํํ) ๋ฐฉ์์ด์ง๋ง, ๋ ๋๋ง ๊ณผ์ ์ด ๋ฏธ๋ถ ๊ฐ๋ฅํ๊ฒ ์ค๊ณ๋์ด ์์ด์ ํ์ตํ ์ ์์ต๋๋ค. โ Explicit Representation์ธ๋ฐ ์ Differentiable ํ ๊น?๋ณดํต Explicit Representation(๋ช ์์ ํํ)์ 3D ๊ฐ์ฒด๋ฅผ ์ง์ ์ ์ผ๋ก ๋ํ๋ด๋ ๋ฐฉ์์ด๊ธฐ ๋๋ฌธ์, ๋ฏธ๋ถ์ด ์ด๋ ต๋ค๊ณ ์๊ฐํ ์ ์์ต๋๋ค.์๋ฅผ ๋ค์ด:Point Cloud (์ ํด๋ผ์ฐ๋) → ๋จ์ํ 3D ์ขํ ์งํฉ์ด๋ฏ๋ก ๋ฏธ๋ถ์ด ์ด๋ ค์.Mesh (๋ฉ์ฌ, ์ผ๊ฐํ ๊ธฐ๋ฐ ๋ชจ๋ธ) → ๋ฒํ ์ค(Vertex)์ ํ์ด์ค(Face)๋ก ํํ๋๋ฉฐ, ์ผ๋ฐ์ ์ธ ๊ฒฝ์ฐ ๋ฏธ๋ถ์ด ์ฝ์ง ์์.ํ์ง๋ง 3DGS๋ Gaussian Splatting์ ์ฌ์ฉํ์ฌ ๋ฏธ๋ถ ๊ฐ๋ฅ(differentiable)ํ.. 2025. 2. 17. [Paper Review] Triplane Meets Gaussian Splatting: Fast and Generalizable Single-View 3D Reconstruction with Transformers https://arxiv.org/abs/2312.09147 Triplane Meets Gaussian Splatting: Fast and Generalizable Single-View 3D Reconstruction with TransformersRecent advancements in 3D reconstruction from single images have been driven by the evolution of generative models. Prominent among these are methods based on Score Distillation Sampling (SDS) and the adaptation of diffusion models in the 3D domain. Despitarxi.. 2025. 2. 17. [Notable] Explicit Representation VS Implicit Representation 1. Explicit Representation (๋ช ์์ ํํ)๐ ์ ์:Explicit Representation์ ๋ฐ์ดํฐ๋ฅผ ์ง์ ์ ์ด๊ณ ๊ตฌ์ฒด์ ์ผ๋ก ํํํ๋ ๋ฐฉ์์ ๋๋ค.๋ชจ๋ธ์ด ๋ค๋ฃจ๋ ๊ตฌ์กฐ, ํน์ฑ, ๋ฐ์ดํฐ ํฌ์ธํธ ๋ฑ์ด ๋ช ํํ ํํ๋ก ์ ์๋ฉ๋๋ค.๐ ์์:์ด๋ฏธ์ง ๋ฐ์ดํฐ: ํฝ์ ๊ฐ์ผ๋ก ์ด๋ฃจ์ด์ง RGB ์ด๋ฏธ์ง ๊ฐ ํฝ์ ์ ์์, ์์น๊ฐ ์ ํํ๊ฒ ์ ์ฅ๋จ3D ๋ชจ๋ธ๋ง: ๋ฉ์ฌ(Mesh) ๊ธฐ๋ฐ ๋ชจ๋ธ: ์ (vertex)๊ณผ ๋ฉด(face)์ ์ขํ๊ฐ ๋ช ํํ๊ฒ ๊ธฐ๋ก๋จํต๊ณ ๋ชจ๋ธ: ๊ฐ์ฐ์์ ๋ถํฌ: ํ๊ท (μ)๊ณผ ๋ถ์ฐ(σ²)์ด ๋ช ํํ๊ฒ ์ ์๋จโ ์ฅ์ : ์ง๊ด์ ์ด๊ณ ํด์์ด ์ฌ์ ๋ฐ์ดํฐ๋ ๊ตฌ์กฐ์ ๋ณ๊ฒฝ์ด ์ฉ์ด ๋ช ํํ ์์ ๋๋ ๊ท์น์ ๊ธฐ๋ฐโ ๋จ์ : ๋ณต์กํ ๋ฐ์ดํฐ๋ฅผ ํํํ ์๋ก ๋น์ฉ์ด ํผ (๋ฉ๋ชจ๋ฆฌ, ๊ณ์ฐ๋ ์ฆ๊ฐ) ๊ณ ์ฐจ์ ๋ฐ์ดํฐ์์๋ ๋นํจ์จ์ ์ผ ์ .. 2025. 1. 31. [Notable] NeRF vs Voxel vs Mesh 1. NeRF (Neural Radiance Fields)์ ์ฅ์ :์ธ๋ฐํ ๋ํ ์ผ: NeRF๋ ๋ณผ๋ฅจ ๋ ๋๋ง์ ์ฌ์ฉํ์ฌ ๋งค์ฐ ์ธ๋ฐํ ์ฅ๋ฉด์ ์์ฑํ ์ ์์ต๋๋ค. ์ด๋ฅผ ํตํด ๋ณต์กํ ์กฐ๋ช ํจ๊ณผ, ๋ํ ์ผํ ์ง๊ฐ, ๋ชจ๋ ๋ฐฉํฅ์์์ ๋ ๋๋ง์์ ๋ฐ์ด๋ ํ์ง์ ์ป์ ์ ์์ต๋๋ค. ํนํ, ๋น์ ๋ฐ์ฌ์ ๊ตด์ ๋ฑ ๋ฌผ๋ฆฌ์ ์ํธ์์ฉ์ ์ธ๋ฐํ๊ฒ ๋ชจ๋ธ๋งํ ์ ์๋ค๋ ์ ์์ ๊ณ ํด์๋์ ์ฌ์ค์ ์ธ ๊ฒฐ๊ณผ๋ฅผ ์ป์ ์ ์์ต๋๋ค.์ฐ์์ ์ธ ํํ: NeRF๋ 3D ๊ณต๊ฐ์ ์ฐ์์ ์ธ ๋ฐ๋์ ์์ ๊ฐ์ผ๋ก ๋ชจ๋ธ๋งํฉ๋๋ค. ์ด ๋ฐฉ์์ 3D ์ฅ๋ฉด์ ๋์งํธํํ ๋ ๋ถ๋๋ฝ๊ณ ์์ฐ์ค๋ฌ์ด ์ ํ์ ๊ฐ๋ฅํ๊ฒ ํ์ฌ ๋ ๊ณ ๊ธ์ค๋ฌ์ด ์๊ฐ์ ํจ๊ณผ๋ฅผ ์ ๊ณตํฉ๋๋ค.๊ณ ํ์ง ๋ ๋๋ง: NeRF๋ ์ด๋ฏธ์ง ๊ธฐ๋ฐ์ 3D ํฉ์ฑ์์ ๋งค์ฐ ์ฌ์ค์ ์ธ ๊ฒฐ๊ณผ๋ฅผ ์ ๊ณตํฉ๋๋ค. ํนํ ์ฌ์ง์ฒ๋ผ ์์ฐ์ค๋ฌ์ด ์กฐ๋ช ๊ณผ.. 2025. 1. 21. [Paper Review] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis Abstract์ด ๋ ผ๋ฌธ์์๋ ๋ณต์กํ ์ฅ๋ฉด์ ์๋ก์ด ์์ ์ ์์ฑํ๋ฉฐ, ๊ธฐ์กด ์ฐ๊ตฌ๋ฅผ ๋ฐ์ด๋๋ ์ฑ๋ฅ์ ๋ฌ์ฑํ๋ ๋ฐฉ๋ฒ์ ์ ์ํ๋ค.์ด ๋ฐฉ๋ฒ์ ์์์ ์ ๋ ฅ ๋ทฐ๋ฅผ ์ฌ์ฉํ์ฌ ์ฐ์์ ์ธ volume scene ํจ์๋ฅผ ์ต์ ํํ๋ค.์๊ณ ๋ฆฌ์ฆ์ ์ฅ๋ฉด์ fully connected (not convolution) deep network ๋ก ํํํ๋ค. - ์ ๋ ฅ: ์ฐ์์ ์ธ 5D ์ขํ => ๊ณต๊ฐ ์์น(x, y, z) ์ ์์ ๋ฐฉํฅ(θ, φ) ์ ์ ๋ ฅ- ์ถ๋ ฅ: ํด๋น ์์น์ ์ฒด์ ๋ฐ๋(volume density) ์ ์์ ์ข ์ ๋ฐฉ์ถ ๋ณต์ฌ๊ด(view-dependent emitted radiance) ์ถ๋ ฅ- ํฉ์ฑ ๊ณผ์ : ์นด๋ฉ๋ผ์์ ์ฅ๋ฉด์ผ๋ก ๋ป์ด๋๊ฐ๋ ๊ด์ (rays) ์ ๋ฐ๋ผ 5D ์ขํ(๊ณต๊ฐ์์น์ ์์ ๋ฐฉํฅ)๋ฅผ ์ ํํ ๋ค, ํด๋น ์ขํ์์ ์ ๊ฒฝ๋ง์.. 2024. 12. 10. ์ด์ 1 ๋ค์