人體重建

本篇筆記整理了 3DGS-Avatar (CVPR 2024) 的研究內容。該論文旨在解決從單眼視角影片（monocular video）高效重建可動畫（animatable）的著裝虛擬人像（clothed human avatars）的挑戰，特別是針對現有基於 NeRF 方法在訓練和渲染速度上的限制。筆記內容涵蓋了其核心方法：利用 3D Gaussian Splatting (3DGS) 作為基礎表示，設計了從標準空間（canonical space）到觀察空間（observation space）的變形流程，包括非剛性（non-rigid）和剛性（rigid）變形模組，以及一個用於處理視角相關顏色和局部變形的 Color MLP。此外，筆記也記錄了其優化策略，如姿態修正（pose correction）和關鍵的「盡可能等距」（as-isometric-as-possible, AIAP）正規化，以提升對未見姿態的泛化能力與重建品質。

本篇筆記整理自 ICCV 2023 論文《NSF: Neural Surface Fields for Human Modeling from Monocular Depth Scene Reconstruction》。該論文提出一種只需單目深度序列即可學習細緻且可動畫的人體模型的方法，突破了以往 3D 人體重建對高階感測設備與複雜預處理的依賴。核心貢獻為引入 Neural Surface Fields (NSF)，在 canonical space 上定義連續的神經場，能高效融合不同姿勢與服裝幾何，實現任意解析度的網格重建，且無需重新訓練。實驗證明 NSF 相較於過往方法有更高效率與更佳的幾何、紋理還原能力，支援快速 few-shot 新人物訓練與高質感動畫生成，並能直接進行紋理轉換。

本篇筆記整理 CVPR 2023 的 Humans in Minutes，聚焦在單眼影片中以數分鐘完成可自由視角的動態人體重建。方法以 SMPL 為骨架先驗，將 4D 體積運動重參數化為 2D 表面 UV 與時間，並結合 inverse LBS 與殘差形變在 canonical space 學習位姿變形；同時採用依部位切分的 part-based voxelized 表示與多解析度 hash encoding，依人體區塊複雜度高效建模密度與顏色。相較既有 NeRF 類方法，本作在維持競爭力的畫質下，將優化時間縮短至百倍等級（512×512、RTX 3090 約數分鐘），訓練僅需每幀姿態與前景遮罩，並於文中進一步分析損失設計、正則化與對 SMPL 依賴等限制。

針對單眼影片的人體可動畫自由視角渲染，MonoHuman（CVPR 2023）提出 shared bidirectional deformation，在 canonical space 共享運動權重並以前向／反向一致性正則，學得 pose‑independent 變形場，減輕單向變形在不可見姿態上的 over‑fitting；同時構建以關鍵影格為索引的 observation bank，透過 forward correspondence search 從相似姿態檢索對應特徵以引導渲染，緩解遮擋與細節模糊。該方法於新視角與新姿態設定皆優於既有方法（LPIPS 顯著提升），並能在複雜極端姿勢下保持外觀連貫與細節保真。

針對可控姿勢下的人體自由視角合成，Neural Actor（SIGGRAPH Asia 2021）以 SMPL 作為幾何先驗，透過 inverse skinning 將觀測點對齊至 canonical space，並以殘差變形網路補足大位移與細微皺摺；同時將定義於 SMPL 的 2D 紋理圖作為潛在變數，配合法向圖→紋理圖的轉換網路與特徵提取器提供動態外觀先驗，緩解僅憑骨架姿勢難以描述的遮擋與模糊。該方法在長姿勢序列、挑戰性新姿勢與跨人重演中皆達到高品質自由視角渲染，並支援透過形狀參數進行人體重塑。

本篇筆記為筆者在閱讀 HumanNeRF (CVPR 2022) 這篇論文時的隨記。該研究提出了一種方法，用於從單眼視角的影片（monocular video）中，為移動中的人物生成自由視角的渲染結果。這項技術試圖解決在僅有單一、變動視角輸入的情況下，重建人物在任意新視角下的外觀（包含姿態、衣物等細節）的挑戰。筆記將整理 HumanNeRF 的核心方法，包括如何使用標準體積表示（canonical volume）、分解運動場（motion field decomposition），以及姿態修正（pose correction）等技術來實現其目標。