神经网络在计算机上的实现会受到数值误差的影响， 我们可以启发式地证明上述结论 。 对于复杂的算术运算（如矩阵乘法）， 数值误差会积累， 因此我们会扰动输出值从而避免不可微点 。
梯度归一化
引理 3 启发研究者通过直接约束梯度范数来设计一种归一化技术 。 他们首先证明了层级别的 1 – 利普希茨约束（例如 SN-GAN）的利普希茨常数可能随着层数的增加而显著降低 。 这对本文提出的梯度归一化技术有很大的启发 。
在本文中， 研究者假设激活函数为 1 – 利普希茨函数， 并证明了较深的网络的利普希茨常数会收到其浅层网络的限制 。 下图为梯度归一化 GAN（GN-GAN）的算法 。

文章插图

定理 5：令 f_K : R^n R 为带有层级别的 1 – 利普希茨约束的 K 层网络， 则前 k 层网络 L_f_k 的利普希茨常数的上界为 L_f_k-1， 即：

文章插图

定理 6：令 f : R^n R 为通过神经网络建模的连续函数 。 网络 f 的所有激活函数是分段线性的 。 则归一化函数
带有 1 – 利普希茨约束， 即：

文章插图

实验
为了评估梯度归一化的性能， 研究者首先在 CIFAR-10 和 STL-10 这两个标准数据集上进行了无条件和有条件的图像生成实验 。 其中， CIFAR-10 数据集包含 6 万张尺寸为 (32×32×3) 的图像， 5 万张图像被划分为训练实例， 1 万张图像被划分为测试实例 。 STL-10 数据集用于研发无监督特征学习， 它包含 5 千张训练图像、8 千张测试图像和 10 万张无标签的、尺寸为 (48 × 48 × 3) 的图像 。
此外， 研究者还在 CelebA-HQ、LSUN Church Outdoor 这两个具有较高分辨率的数据集上测试了梯度归一化方法 。 CelebA-HQ 包含 3 万张尺寸为 (256 × 256 × 3) 的人脸图像；LSUN Church Outdoor 是 LSUN 数据集的一个子集， 包含 12.6 万张尺寸为 (256 × 256 × 3) 的教堂外景图 。
Inception Score(IS) 和 Frechet Inception Distance(FID) 是两种流行的评测生成模型的指标 。 研究者用它们对 GN 进行定量评测 。 为了公平比较， 所有的评价结果都是通过 IS 和 FID 的官方实现计算的 。 为了与之前没有严格遵循标准评价协议的工作进行比较， 本文的评价是根据几种计算 FID 的不同设置来设计的 。 此外， 他们还保留了在整个训练过程中的最佳模型， 并报告了平均性能 。
下表 3 将提出的 GN-GAN 与几种 SOTA 模型进行了比较， 例如 SN-GAN [22]、WGANGP [10] 和 CR-GAN [35] 。 结果表明， 研究者提出的 GN-GAN 在 Inception Score 和 FID 方面优于现有的归一化方法 。

文章插图

研究者进一步使用 BigGAN [1] 中提出的相同架构在 CIFAR10 数据集上进行实验 。 同样地， 判别器中的 SN 被 GN 代替 。 下表 4 显示 GN 在 FID 方面可以进一步将 BigGAN 提升 31.8% 。

文章插图

为了展示提出的梯度归一化能够生成高分辨率图像， 研究者利用 SN-GAN 中提出的架构在 CelebA-HQ 和 LSUN Church Outdoor 上生成 256×256 图像 。 同样地， 在实验中 SN 被 GN 代替 。 下图 1 和图 2 中的生成结果展示出了有竞争力的性能 。

文章插图

定理 5 的实验分析 。 因此， 研究者设计了实验来测试具有 Wasserstein 损失的 SN 和 GN 。 下图 3a 和 3b 分别显示了关于 CIFAR-10 数据集上不同方法的训练迭代的判别器的初始分数和 Lipschitz 常数 。 下图 3c 显示了 CIFAR-10 数据集层级中 GN-9L 和 SN-9L 的 Lipschitz 常数 。

• 有谁知道酵素减肥真的靠谱吗
• 天猫靠谱还是企业店铺 天猫店铺装修在哪里？装修有何技巧？入驻天猫店需要什么
• 以燕麦为主食以达到减肥目的，靠谱吗？或导致身体出现这个问题
• 拔罐配合药膳减肥的食谱有哪些？
• 天猫店铺和淘宝店铺的区别 淘宝和天猫店铺装修区别大吗？有哪些不同？天猫和淘宝哪个更靠谱
• 为什么减肥食谱里有的都没有黑芝麻糊？
• 淘宝单怎么刷才能赚钱 淘宝开店靠谱吗？能赚钱吗？网上刷到单赚钱是真的吗
• 淘宝0元开店靠谱吗？真的不要钱吗？
• 交钱教开淘宝店靠谱吗 淘宝特价版开店靠谱吗？商品质量怎么样？开网店靠谱吗
• 拔火罐减肥,靠谱吗?它是依据什么原理的呢?