【实时可微：单像素点渲染视频，网友：自己制作3A游戏的时代要来了】机器之心报道
编辑：杜伟、陈萍

合成视频达到了新的高度 ， 来自德国埃尔朗根 - 纽伦堡大学的研究者提出了一种新的场景合成方法 ， 使合成视频更接近现实 。

合成逼真的虚拟环境是计算机图形学和计算机视觉中研究最多的主题之一 ， 它们所面临是一个重要问题是 3D 形状应该如何编码和存储在内存中 。 用户通常在三角形网格、体素网格、隐函数和点云之间进行选择 。 每种表示法都有不同的优点和缺点 。 为了有效渲染不透明表面 ， 通常会选择三角形网格 ， 体素网格常用于体绘制 ， 而隐函数可用于精确描述非线性分析表面 ， 另一方面 ， 点云具有易于使用的优点 ， 因为不必考虑拓扑 。
近日 ， 来自国埃尔朗根 - 纽伦堡大学视觉计算实验室的研究者提出了一种新颖的基于点的、可微的神经渲染 pipeline ， 可用于场景细化和新颖的视图合成 。
我们先来看下该研究的效果：

文章图片


文章图片

有网友表示 ， 这是电子游戏制作人的梦想 。

文章图片

「这种效果是由 2D 图像生成的 ， 输出是如此平滑 ， 令人疯狂 ， 给人印象非常深刻 。 」DeepMind 产品经理 Alexandre Moufarek 表示 。

文章图片

「如果你对这项研究感到困惑 ， 不明白它为什么令人印象深刻 ， 它实际上不是一个视频 ， 它是由照片集制作而成（顺便说一下 ， 不是平滑的照片） 。 该研究发布的流畅视频是用神经技术渲染的 ， 效果非常自然 。 为制作者点赞 。 」有网友总结道 。

文章图片

具体来讲 ， 该研究的输入是点云和相机参数的初始估计 ， 输出是由任意相机姿态合成的图像 。 点云渲染由使用多分辨率单像素点栅格化的可微渲染器执行 。 离散栅格化的空间梯度由 ghost 几何近似 。 渲染后 ， 神经图像金字塔通过一个深度神经网络进行着色计算和孔填充（hole-filling） 。 然后 ， 可微、基于物理的色调映射器（tonemapper）将中间输出转换为目标图像 。 由于 pipeline 的所有阶段都是可微的 ， 该研究优化了所有场景参数 ， 即相机模型、相机姿态、点位置、点颜色、环境映射、渲染网络权重、晕影、相机响应函数、每张图像曝光和每张图像白平衡 。
该研究表明所提出的系统能够合成比现有方法更清晰、更一致的新视图 ， 因为在训练期间就对初始重建进行了优化 。 高效的每像素点栅格化允许研究者使用任意相机模型并实时显示超过 100M 点的场景 。

文章图片

论文地址：https://arxiv.org/pdf/2110.06635.pdf
源代码会在之后进行发布 。
技术细节
该研究提出的方法在 Aliev 等人的 pipeline 上构建 ， 并通过多种方式进行了改进 。 具体地 ， 研究者添加了一个物理可微的相机模型和一个可微的色调映射器 ， 并提供了一个更好地逼近单像素点栅格化的空间梯度的公式 。
这种可微的 pipeline 不仅可以优化神经点特征 ， 而且在训练阶段能够纠正不精确的输入 。 因此 ， 该系统基于神经渲染网络的视觉损失调整相机姿态和相机模型 ， 并结合晕影模型和每个相机的传感器响应曲线估计每个图像的曝光和白平衡值 。