普林斯顿、英特尔提出ParNet,速度和准确性显著优于ResNet( 三 )


表 5 展示了提高 ParNet 性能的其他方法 , 例如使用更高分辨率的图像、更长的训练机制(200 个 epoch、余弦退火)和 10-crop 测试 。 这项研究有助于评估非深度模型在 ImageNet 等大规模数据集上可以实现的准确性 。
普林斯顿、英特尔提出ParNet,速度和准确性显著优于ResNet
文章图片

MS-COCO (Lin 等 , 2014) 是一个目标检测数据集 , 其中包含具有常见对象的日常场景图像 。 研究者用 COCO-2017 数据集进行了评估 。 如下表 4 所示 , 即使在单个 GPU 上 , ParNet 也实现了比基线更高的速度 。 这阐明了如何使用非深度网络来制作快速目标检测系统 。
普林斯顿、英特尔提出ParNet,速度和准确性显著优于ResNet
文章图片

表 6 总结了各种网络在 CIFAR10 和 CIFAR100 上的性能 。
普林斯顿、英特尔提出ParNet,速度和准确性显著优于ResNet
文章图片

消融实验
为了测试是否可以简单地减少 ResNet 的深度并使它们变宽 , 研究者测试了三个 ResNet 变体:ResNet12-Wide、ResNet14-Wide-BN 和 ResNet12-Wide-SSE 。 ResNet12-Wide 使用 ResNet 基础 block , 深度为 12 , 而 ResNet14-Wide-BN 使用 ResNet 瓶颈 block , 深度为 14 。 表 7 展示了对网络架构和训练协议的各种设计的消融研究结果 , 其中包括使用数据增强、SSE block 和 SiLU 激活函数的 3 种情况 。
普林斯顿、英特尔提出ParNet,速度和准确性显著优于ResNet
文章图片

在表 10 中 , 研究者评估了参数总数相同但分支数不同( 1、2、3、4)的网络 。 实验表明 , 对于固定数量的参数 , 具有 3 个分支的网络具有最高的准确率 , 并且在网络分辨率分别为 224x224 和 320x320 这两种情况下都是最优的 。
普林斯顿、英特尔提出ParNet,速度和准确性显著优于ResNet
文章图片

另一种网络并行化的方法是创建由多个网络组成的集合体 。 因此 , 该研究将 ParNet 和集成的网络进行对比 。 如下表 9 所示 , 当使用较少的参数时 , ParNet 的性能优于集成的网络 。
普林斯顿、英特尔提出ParNet,速度和准确性显著优于ResNet
文章图片

特别声明:本站内容均来自网友提供或互联网,仅供参考,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。