《报告》还指出,深度合成内容的鉴别正面临技术挑战 。 新型伪造方法的层出不穷,加上基于深度神经网络的检测算法存在结构性缺陷等,反深伪检测技术也面临“强对抗性”,需要持续更新与迭代优化 。 这类似于“猫鼠游戏”,深度合成和检测在不断学习攻防过程中会自我进化,规避上一代的对抗技术 。 目前,学术界和产业界均已对鉴别检测技术的研发进行了大量投入,国内外多个科研机构和科技企业推出了检测产品 。
随着深度合成的负面影响显现,世界各国监管机制的建立也成为一个趋势 。 欧盟倾向于将深度合成纳入既有法律框架进行规制；在美国,已有一些州通过了正式法律,对“深度伪造”进行规制,如加利福尼亚州、弗吉尼亚州和得克萨斯州；新加坡也出台了专门法案明确主体、平台责任；我国在2021年1月发布的《网络音视频服务管理规定》专门提到了不得利用深度学习技术制作并传播虚假新闻信息,今年1月,国家网信办发布了《互联网信息服务深度合成管理规定(征求意见稿)》,是一份具有系统性、针对性和可操作性的专门管理规定 。
专家:深度合成技术在元宇宙可能有非常多的想象空间
面对当前的挑战,如何规范深度合成技术应用、减轻技术带来的负面影响?多位专家从伦理和治理的角度表达了自己的看法 。
阿里巴巴安全感知与认知智能部负责人薛辉认为,难点主要有两方面,一是因为深度合成技术有很大的商业价值,因此不能一刀切地禁止,而是要采取“包容审慎”的态度,但怎么确定监管的边界,这是一个问题 。 另一个问题在于,深度合成面临持续的攻防和博弈,而攻防中往往攻击方找到了一个点就能突破,但防御却是相对落后的 。
中国科学院自动化研究所研究员陶建华指出,目前,深度合成概念的内涵和外延并不清晰,造成监管上的困难 。 “是不是用深度学习方法得到的就叫深度合成?我觉得这值得商榷 。 ”此外,他认为,应该更有效地管理深度合成的使用者,而不是过多地约束它的研发者 。
浙江大学网络空间安全学院院长任奎提出了数据集不足的问题 。 他介绍,当前的深度合成技术主要还是针对人,因此训练深度合成检测模型需要大量人脸数据,但是人脸数据和音频数据都是高度敏感的个人信息,这部分数据很难获取 。 他建议公信力比较高的非营利性机构能够把数据梳理出来,让合格的研究机构一起参与,这样能够把数据的价值最大化发挥出来,“用在正面的方向” 。
不过,未来的深度合成场景可能会更加复杂 。 在他看来,深度合成在未来不仅仅停留在简单的音频、图像和视频,而是会用于各种各样的伪造,而且不仅限于数字空间的伪造,在物理空间的伪造可能更加有欺骗性和致命性 。 “从关键场景来看,比如说自动驾驶,在这里我可能伪造一个场景,这个场景可能是数字的,也有可能是跟物理世界融合的方式 。 如果我们考虑更远一点,比如元宇宙的概念,不见得是伪造关于人的信息,一切有价值的东西都可能被伪造,这里深度合成可能有非常多的想象空间和利用、攻击的空间 。 ”
面对当前的挑战,如何规范深度合成技术应用、减轻技术带来的负面影响?多位专家从伦理和治理的角度表达了自己的看法 。
阿里巴巴安全感知与认知智能部负责人薛辉认为,难点主要有两方面,一是因为深度合成技术有很大的商业价值,因此不能一刀切地禁止,而是要采取“包容审慎”的态度,但怎么确定监管的边界,这是一个问题 。 另一个问题在于,深度合成面临持续的攻防和博弈,而攻防中往往攻击方找到了一个点就能突破,但防御却是相对落后的 。