舍弃谱归一化,这篇ICCV’21论文用梯度归一化训练GAN,效果极好( 四 )


舍弃谱归一化,这篇ICCV’21论文用梯度归一化训练GAN,效果极好

文章插图

定理 6 仅仅给出了在判别器分段线性的情况下的梯度范数的上界 。 然而, 研究者假设 GN 适用于大多数激活函数 。 因此, 他们复现了具有不同激活函数的 SN-GAN、WGAN-GP、原始 GAN 的标准 CNN 训练过程 。
下图 4 显示了具有不同激活函数的 GAN、WGAN-GP、SN-GAN、GN-GAN 的 IS、FID 指标, 说明 GN 在 ELU 和 ReLU 激活函数上取得了最佳的得分 。 并且在 Softplus(β = 20) 激活函数上得到了不错的得分 。 值得注意的是, 在 β 增大时, Softplus 与 ReLU 趋同 。 因此, GN 在 Softplus(β = 20) 上的性能优于 Softplus 。
舍弃谱归一化,这篇ICCV’21论文用梯度归一化训练GAN,效果极好

文章插图

详解NVIDIA TAO系列分享第2期:
基于Python的口罩检测模块代码解析——快速搭建基于TensorRT和NVIDIA TAO Toolkit的深度学习训练环境
第2期线上分享将介绍如何利用NVIDIA TAO Toolkit, 在Python的环境下快速训练并部署一个人脸口罩监测模型, 同时会详细介绍如何利用该工具对模型进行剪枝、评估并优化 。
TAO Toolkit 内包含了150个预训练模型, 用户不用从头开始训练, 极大地减轻了准备样本的工作量, 让开发者专注于模型的精度提升 。 本次分享摘要如下:
NVIDIA TAO Toolkit的独到特性
TensorRT 8.0的最新特性
利用TAO Toolkit快速训练人脸口罩检测模型
利用TensorRT 快速部署人脸口罩检测模型


特别声明:本站内容均来自网友提供或互联网,仅供参考,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。