单一图像优化问题表述为：在输入 x 中加入扰动δ ， 使扰动后的实例 x’=x+δ能够被目标分类器 f_θ(·)错误分类：

文章图片

其中 ， H 为选定的距离函数 ， y * 为目标类别 。 为了有效解决上述约束性优化问题 ， 作者利用拉格朗日松弛形式重新表述上式：

文章图片

其中 ， J(·,·)为损失函数 ， 其作用是衡量模型的预测和目标类别标签 y * 之间的差异 。 λ为超参数 ， 用于控制失真的正则化水平 。 作者将距离函数 H 表征为 ||δ||_p ， 即δ的 Lp 范数 。
接下来 ， 作者具体讨论如何修改目标函数以考虑物理环境条件的影响 。 首先 ， 对包含目标对象 o 的图像在物理和数字变换下的分布进行建模 X^V。 我们从 X^V 中抽出不同的实例 x_i 。 一个物理扰动只能添加到 x_i 中的特定对象 o 。 具体到路标分类任务中 ， 我们计划控制的对象 o 是停车标志 。
为了更好地捕捉变化的物理条件的影响 ， 作者通过生成包含实际物理条件变化的实验数据以及合成转换 ， 从 X^V 中对实例 x_i 进行采样 。 图 3 中给出了以道路标识为例的鲁棒物理攻击（Robust Physical Perturbations， RP2）过程示例 。

文章图片

图 3. RP2 示例 。 输入一个目标停止标志 。 RP2 从一个模拟物理动态的分布中取样（在本例中是不同的距离和角度） ， 并使用一个掩模将计算出的扰动投射到一个类似于涂鸦的形状上 。 攻击者打印出所产生的扰动 ， 并将其贴在目标停止标志上 。
本文所讨论的道路标志的物理条件涉及在各种条件下拍摄道路标志的图像 ， 如改变距离、角度和光照等 。 而对于合成转换 ， 作者随机裁剪图像中的物体 ， 改变其亮度 ， 并增加空间变换以模拟其他可能的条件 。 为了确保扰动只适用于目标对象的表面区域 o（考虑到空间限制和对不可知性的物理限制） ， 作者引入了一个掩模 。 该掩模的作用是将计算出的扰动投射到物体表面的一个物理区域（如路标） 。 除了实现空间定位外 ， 掩模还有助于生成对人类观察者来说可见但不明显的扰动 。 为了做到这一点 ， 攻击者可以将掩模塑造得像一个涂鸦—- 一种在大街上很常见的破坏行为 。 从形式上看 ， 将扰动掩模表征为一个矩阵 M_x ， 其尺寸与路标分类器的输入尺寸相同 。 M_x 在没有添加扰动的区域为“0” ， 在优化期间添加扰动的区域中为“1” 。 作者表示 ， 在他们进行实验的过程中发现掩模的位置对攻击的有效性是有影响的 。 因此 ， 作者假设 ， 从分类的角度来看物体的物理特征有强有弱 ， 因此 ， 可以将掩模定位在攻击薄弱的地方 。 具体来说 ， 作者使用下述方法来发现掩模位置 。 (1) 使用 L1 正则化计算扰动 ， 并使用占据整个道路标志表面区域的掩模 。 L1 使优化器倾向于稀疏的扰动向量 ， 因此将扰动集中在最脆弱的区域 。 对所产生的扰动进行可视化处理 ， 为掩模的放置位置提供指导 。 (2) 使用 L2 重新计算扰动 ， 并将掩模定位在先前步骤中确定的脆弱区域上 。
考虑到在实际应用中会存在制造误差 ， 作者在目标函数中增加了一个额外的项 ， 该项用来模拟打印机的颜色复制误差 。 给定一组可打印的颜色（RGB 三元组）P 和一组在扰动中使用的、需要在物理世界中打印出来的（唯一的）RGB 三元组 R(δ) ， 利用下式计算不可打印性得分 non-printability score (NPS)：