文章图片

该研究使用具有多个子 MLP 的类似 PointNet 的神经网络来进行回归 。 总体而言 ， 该研究首先对每个神经点进行神经处理 ， 然后聚合多点信息以获得最终估计 。
Point-NeRF 重建
Point-NeRF 重建 pipeline 可用于有效地重建基于点的辐射场 。 首先利用跨场景训练的深度神经网络 ， 通过直接网络推理生成基于点的初始场 。 这个初始场通过点增长和剪枝技术进一步优化每个场景 ， 从而实现最终的高质量辐射场重建 。 图 3 显示了这个工作流程 ， 其中包含用于初始预测和场景优化的相应梯度更新 。

文章图片

给定一组已知图像 I_1、...、I_Q 和点云 ， Point-NeRF 表示可以通过优化随机初始化的每一个点的神经特征和具有渲染损失的 MLP（类似于 NeRF）来重建 。 然而 ， 这种纯粹的逐场景优化依赖于现有的点云 ， 并且可能非常缓慢 。
因此 ， 该研究提出了一个神经生成模块 ， 通过前馈神经网络预测所有神经点属性 ， 包括点位置 p_i 、神经特征 f_i 和点置信度 γ_i， 以实现高效重建 。 在很短的时间内 ， 渲染质量更好或与 NeRF 相当 ， 而后者需要更长的时间来优化（参见表 1 和表 2） 。
端到端重建：该研究结合多视图点云 ， 得到最终的神经点云 。 该研究用渲染损失从头到尾训练点生成网络和表示网络（见图 3） ， 这允许生成模块产生合理的初始辐射场 。 该研究还使用合理的权重在 Point-NeRF 表示中初始化 MLP ， 从而显着节省了每个场景的拟合时间 。
此外 ， 除了使用完整的生成模块外 ， 该研究的 pipeline 还支持使用从其他方法（如 COLMAP [44]）进行点云重建 ， 其中模型（不包括 MVS 网络）仍然可以为每个点提供有意义的初始神经特征 。
实验
该研究首先在 DTU 测试集上对模型进行评估 ， 比较内容包括 PixelNeRF 、IBRNet 、MVSNeRF 和 NeRF， 并用 10k 迭代微调所有方法以进行比较 。 此外 ， 该研究仅用 1k 迭代以展示 Point-NeRF 优化效率 。 具体结果如下：
表 1 为不同方法定量比较 ， 比较内容包括 PSNR, SSIM, LPIPS ， 图 6 为渲染结果 。 由结果可得 ， 在 10k 次迭代之后 ， SSIM 和 LPIPS 达到最佳 ， 分别为 0.957 和 0.117 ， 优于 MVSNeRF 和 NeRF 结果 。 IBRNet 生成的 PSNR 结果稍好一些为 31.35 ， 但 Point-NeRF 可以恢复更精确的纹理细节和高光 ， 如图 6 所示 。
另一方面 ， IBRNet 的微调成本也更高 ， 相同的迭代次数 ， 比 Point-NeRF 微调多花 1 小时 ， 也就是 5 倍的时间 。 这是因为 IBRNet 依赖大型的全局 CNN ， 而 Point-NeRF 利用局部点特征以及 MLP 更容易优化 。 更重要的是 ， 基于点的表示位于实际场景表面附近 ， 从而避免了在空场景中采样射线点（ray points） ， 从而实现高效的逐场景优化 。

文章图片


文章图片

虽然 IBRNet 中更复杂的特征提取器可以提高质量 ， 但它会增加内存使用 ， 影响训练效率 。 更重要的是 ， Point-NeRF 生成网络已经提供了高质量的初始辐射场 ， 以支持高效优化 。 该研究发现 ， 即使经过 2 min / 1K 的微调迭代 ， Point-NeRF 也能获得非常高的视觉质量 ， 可与 MVSNeRF 最终的 10k 次迭代结果相媲美 ， 这也证明了 Point-NeRF 方法重建效率的高效性 。
虽然 Point-NeRF 是在 DTU 数据集上训练而来 ， 但其可以很好地泛化到新的数据集 。 该研究展示了在 NeRF synthetic 数据集中 ， Point-NeRF 与其他 SOTA 方法比较结果 ， 定性结果如图 7， 定量结果如表 2 。