LanCe: A Comprehensive and Lightweight CNN Defense Methodology against Physical Adversarial Attacks on Embedded Multimedia Applications ， ASP-DAC 2020

Chou E , F Tramèr, Pellegrino G . SentiNet: Detecting Physical Attacks Against Deep Learning Systems. PrePrint 2020. https://arxiv.org/abs/1812.00292

1、针对深度学习视觉分类任务的鲁棒物理攻击[1]

文章图片

这篇文章重点关注的是如何对计算机视觉任务的深度学习方法进行鲁棒的物理攻击 ， 是从攻击角度进行的分析 。 作者具体选择了道路标志分类作为目标研究领域 。
生成鲁棒的物理攻击所面临的的主要挑战是环境变异性 。 对于本文选择的应用领域 ， 动态环境变化具体是指观察摄像机的距离和角度 。 此外 ， 生成物理攻击还存在其他实用性的挑战：(1) 数字世界的扰动幅度可能非常小 ， 由于传感器的不完善 ， 相机很可能无法感知它们 。 (2)构建能够修改背景的鲁棒性攻击是非常困难的 ， 因为真实的物体取决于视角的不同可以有不同的背景 。 (3)具体制造攻击的过程（如扰动的打印）是不完善的 。 在上述挑战的启发下 ， 本文提出了 Robust Physical Perturbations（RP2）--- 一种可以产生对观察摄像机的广泛变化的距离和角度鲁棒的扰动方法 。 本文目标是从攻击角度进行研究 ， 探讨是否能够针对现实世界中的物体创建强大的物理扰动 ， 使得即使是在一系列不同的物理条件下拍摄的图像 ， 也会误导分类器做出错误的预测 。
1.1 物理世界的挑战
对物体的物理攻击必须能够在不断变化的条件下存在 ， 并能有效地欺骗分类器 。 本文具体围绕所选择的道路标志分类的例子来讨论这些条件 。 本文的研究内容可以应用于自动驾驶汽车和其他安全敏感领域 ， 而本文分析的这些条件的子集也可以适用于其他类型的物理学习系统 ， 例如无人机和机器人 。
为了成功地对深度学习分类器进行物理攻击 ， 攻击者应该考虑到下述几类可能会降低扰动效果的物理世界变化 。
环境条件 。 自主车辆上的摄像头与路标的距离和角度不断变化 。 获取到的被送入分类器的图像是在不同的距离和角度拍摄的 。 因此 ， 攻击者在路标上添加的任何扰动都必须能够抵抗图像的这些转换 。 除角度和距离外 ， 其他环境因素还包括照明 / 天气条件的变化以及相机上或路标上存在的碎片 。
空间限制 。 目前专注于数字图像的算法会将对抗性扰动添加到图像的所有部分 ， 包括背景图像 。 然而 ， 对于实体路牌 ， 攻击者并不能操纵背景图像 。 此外 ， 攻击者也不能指望有一个固定的背景图像 ， 因为背景图像会根据观看摄像机的距离和角度而变化 。
不易察觉性的物理限制 。 目前对抗性深度学习算法的一个优点是 ， 它们对数字图像的扰动往往非常小 ， 以至于人类观察者几乎无法察觉 。 然而 ， 当把这种微小的扰动迁移到现实世界时 ， 我们必须确保摄像机能够感知这些扰动 。 因此 ， 对不可察觉的扰动是有物理限制的 ， 并且取决于传感硬件 。
制造误差 。 为了实际制造出计算得到的扰动 ， 所有的扰动值都必须是可以在现实世界中复制实现的 。 此外 ， 即使一个制造设备 ， 如打印机 ， 确实能够产生某些颜色 ， 但也会有一些复制误差 。
1.2 生成鲁棒的物理扰动
作者首先分析不考虑其它物理条件的情况下生成单一图像扰动的优化方法 ， 然后再考虑在出现上述物理世界挑战的情况下如何改进算法以生成鲁棒的物理扰动 。