选自aXriv
作者：Qiangeng Xu等
机器之心编译
编辑：陈萍

Point-NeRF：基于点的神经辐射场 ， 一种高质量神经场景重建和渲染的新方法 。

2020 年是立体神经渲染（Volumetric neural rendering）爆发的一年 ， 比如 NeRF 可以生成高质量的视图合成结果 ， 但这种方法需要对每个场景进行优化 ， 导致重建时间过长 。 另一方面 ， 深度多视图立体（multi-view stereo）方法可以通过网络推理快速重建场景几何 。
来自南加州大学、Adobe Research 的研究者们提出了 Point-NeRF ， 该方法使用神经 3D 点云及其相关神经特征 ， 将立体神经渲染以及深度多视图立体方法两者的优点进行结合 ， 来建模辐射场 。
在本文中 ， 从 1000 个点发展出完整的点云：

文章图片

通过逐步优化最初的 COLMAP 点的渲染结果：

文章图片

在基于光线行进的渲染 pipeline 中 ， 通过聚合场景表面附近的神经点特征 ， Point-NeRF 可以被有效渲染 。 此外 ， Point-NeRF 可通过对预训练深度网络的直接推理进行初始化 ， 产生神经点云；该点云可以被微调 ， 比 NeRF 训练时间快 30 倍 ， 且重建视觉质量超过 NeRF 。 Point-NeRF 可以与其他 3D 重建方法相结合 ， 并通过一种新的剪枝和增长机制处理这些方法中的错误和异常值 。 在 DTU、NeRF Synthetics、ScanNet 和 Tanks and Temples 数据集上的实验表明 ， Point-NeRF 可以超越现有方法 ， 取得 SOTA 结果 。

文章图片

• 论文地址：https://arxiv.org/pdf/2201.08845.pdf
• 论文主页：https://xharlie.github.io/projects/project_sites/pointnerf/

Point-NeRF
Point-NeRF 是基于点的神经辐射场 ， 这是一种高质量神经场景重建和渲染的新方法 ， 图 2 (b)为架构图：

文章图片

体渲染和辐射场：基于物理的体渲染可以通过可微射线推进（differentiable ray marching）进行数值计算 。 具体而言 ， 一个像素的辐射可以通过一束光线穿过该像素来计算 ， 在 {x_j | j = 1, ..., M} 中沿射线采样 M 个着色点 ， 并使用体积密度累积辐射 ， 如：

文章图片

这里τ表示体积透光率 ， σ_j 和 r_j 是 x_j 处每个着色点 j 的体积密度和辐射度 ， Δ_t 是相邻着色样本之间的距离 。 NeRF 建议使用多层感知器（MLP）来回归这样的辐射场 。 本研究提出的 Point-NeRF 利用神经点云来计算体积属性 ， 从而实现更快和更高质量的渲染 。
基于点的辐射场：该研究用 P = {(p_i, f_i ， γ_i)|i = 1 ， …N}表示神经点云 ， P_I 处的每个点为 i ， 与编码局部场景内容的神经特征向量 f_i 相关联 。 该研究还为每个点分配了一个置信值γ_i∈[0,1] ， 表示该点位于实际场景表面附近的可能性 。 该研究从这个点云反演辐射场 。
给定任意 3D 位置 x ， 在半径为 R 的范围内查询 K 个相邻神经点 。 基于点的辐射场可以抽象为一个神经模块 ， 它从邻近的神经点对任何阴影位置 x 上的视觉依赖亮度 r(沿任何视觉方向 d)和体积密度σ进行回归 ， 如下所示：