NeuS

本篇筆記整理了 NeuS (NeurIPS 2021) 的研究內容。該論文致力於從多視角影像（multi-view images）中實現高品質的 3D 表面重建，旨在結合隱式表面表示（implicit surface representation）和體積渲染（volume rendering）的優點，同時克服先前方法（如 IDR 和 NeRF）各自的局限性。筆記內容涵蓋了其核心方法：將 3D 表面表示為神經符號距離函數（Neural Signed Distance Function, SDF）的零水平集（zero-level set），並提出一種新穎的體積渲染方案來訓練此 SDF 網路。此方案的關鍵在於設計了一個基於 SDF 導數（S-density）的權重函數（weight function）和對應的不透明度密度（opaque density），使其既能無偏差地（unbiased）定位表面，又能處理遮擋（occlusion-aware）。此外，筆記也記錄了其訓練細節，包括損失函數（包含顏色損失、Eikonal 正規化和可選的遮罩損失）以及層級採樣（hierarchical sampling）策略，最終目標是重建出高保真度的物體表面。

這篇筆記整理了 ICCV 2023 的 Ref-NeuS 論文。該研究針對多視角影像中帶有反射的物體重建問題，提出了一個減少歧異性的神經隱式表面學習框架，旨在解決反射導致的多視角不一致性與模糊問題。論文提出一個專門處理反射表面的方法，其核心技術包括：透過分析多視角顏色不一致性和點的可見性來定義「反射分數」，以此識別反射區域；設計一個「反射感知光度損失」，根據反射分數自適應地降低反射像素的權重；以及利用反射方向來建構更精確的輻射場。實驗結果顯示，相較於現有方法，Ref-NeuS 在具有反射的場景中，能夠重建出更高品質的表面幾何、更平滑的表面法線，並維持良好的渲染效果。