机器之心报道
编辑：杜伟、陈萍

无论掩码类型如何多变 ， 苏黎世联邦理工学院计算机视觉实验室（CVL）的图像修复方法都能还原出逼真的图像 。

图像修复旨在填充图像中的缺失区域 ， 被修复区域需要与图像的其余部分协调一致 ， 并且在语义上是合理的 。 为此 ， 图像修复方法需要强大的生成能力 ， 目前的修复方法依赖于 GAN 或自回归建模 。
近日 ， 来自苏黎世联邦理工学院计算机视觉实验室（CVL）的研究者提出了 RePaint ， 这是一种基于 DDPM（Denoising Diffusion Probabilistic Model ， 去噪扩散概率模型）的修复方法 ， 该方法还可以适用于极端情况下的蒙版 。

文章图片

• 论文地址：https://arxiv.org/pdf/2201.09865.pdf
• 代码连接：https://github.com/andreas128/RePaint

它的修复效果是这样的 ， RePaint 使用扩散模型填充缺失的图像部分：下面示例中 ， 蓝色部分是图像缺失部分 ， 也就是需要 RePaint 修复的部分 ， RePaint 会根据已知的部分生成缺失的部分 。 它的修复过程是这样的：首先从纯粹的噪音开始 ， 然后对图像逐级降噪 ， 中间的每一步使用图像已知部分来填充未知部分 。

文章图片

RePaint 还能重新绘制不同内容和形状的缺失区域 ， 创建许多有意义的填充物 。 如面部表情和特征 ， 如耳环或痣：

文章图片

RePaint 在极端情况下修复质量也比较好：输入图像的每隔一行（例如只留下高度和宽度维度上 stride= 2 的像素）都是未知的 ， 大多数修复方法都失败了 ， 但是 RePaint 可以很好的进行修复：

文章图片

上述图像修复过程采用预训练的无条件 DDPM 作为生成先验 。 为了调节生成过程 ， 该研究仅通过使用给定的图像信息对未掩码区域进行采样来改变反向扩散迭代 。 由于该技术不会修改或调节原始 DDPM 网络本身 ， 因此该模型可以为任何修复形式生成高质量和多样化的输出图像 。
【戴上口罩都能还原，用去噪扩散概率模型修复图像，效果「真」极了】在实验部分 ， 该研究使用标准和极端蒙版验证了面部和通用图像修复方法 。 RePaint 在六种掩码分布中至少有五种优于 SOTA 自回归和 GAN 方法 。
预备知识：去噪扩散概率模型（DDPM）
研究者使用扩散模型作为生成模型 。 与其他生成模型一样 ， DDPM 学习给定训练集中图像的分布 。 在推理过程中 ， 首先采样一个随机噪声向量 x_T 并逐步对其进行去噪 ， 直到它生成高质量输出图像 x_0 。 在训练过程中 ， DDPM 方法定义一个扩散过程 ， 从而在 T 个时间步内将图像 x_0 转换为高斯白噪声（white Gaussian noise） x_T ～ N (0, 1) 。 前向中的每一步如下公式 (1) 所示：

文章图片

训练 DDPM 以反转公式 (1) 中的过程 。 反转过程通过一个「预测高斯分布参数 μ_θ(x_t, t)和Σ_θ(x_t, t)」的神经网络进行建模 。 具体如下公式 (2) 所示：

文章图片

公式 (2) 中模型的学习目标通过变分下界（variational lower bound）得到 ， 具体如下公式 (3) 所示：