中国科学院自动化研究所研究员陶建华指出,目前,深度合成概念的内涵和外延并不清晰,造成监管上的困难 。 “是不是用深度学习方法得到的就叫深度合成?我觉得这值得商榷 。 ”此外,他认为,应该更有效地管理深度合成的使用者,而不是过多地约束它的研发者 。
浙江大学网络空间安全学院院长任奎提出了数据集不足的问题 。 他介绍,当前的深度合成技术主要还是针对人,因此训练深度合成检测模型需要大量人脸数据,但是人脸数据和音频数据都是高度敏感的个人信息,这部分数据很难获取 。 他建议公信力比较高的非营利性机构能够把数据梳理出来,让合格的研究机构一起参与,这样能够把数据的价值最大化发挥出来,“用在正面的方向” 。
不过,未来的深度合成场景可能会更加复杂 。 在他看来,深度合成在未来不仅仅停留在简单的音频、图像和视频,而是会用于各种各样的伪造,而且不仅限于数字空间的伪造,在物理空间的伪造可能更加有欺骗性和致命性 。 “从关键场景来看,比如说自动驾驶,在这里我可能伪造一个场景,这个场景可能是数字的,也有可能是跟物理世界融合的方式 。 如果我们考虑更远一点,比如元宇宙的概念,不见得是伪造关于人的信息,一切有价值的东西都可能被伪造,这里深度合成可能有非常多的想象空间和利用、攻击的空间 。 ”
链接
国家网信办拟出新规:深度合成内容需标识
近日,国家互联网信息办公室发布《互联网信息服务深度合成管理规定(征求意见稿)》(以下简称“征求意见稿”)并公开征求意见 。 征求意见稿提出,深度合成服务提供者深度合成服务时,应当使用显著方式对深度合成信息内容进行标识 。 若提供人脸、人声等生物识别信息的显著编辑功能,还需取得被编辑的个人信息主体的单独同意 。
在此次的征求意见稿中,深度合成信息内容标识管理制度也是重要内容之一,并进一步具象到文本、声音、图像、视频等场景中,要求深度合成服务提供者使用有效技术措施在深度合成的信息内容中添加可被自身识别、追溯,且不影响用户使用的标识,且对于合成人声、仿声、人脸替换等深度合成内容使用显著方式进行标识,向社会公众有效提示信息内容的合成情况 。 若未显著标识,应当立即停止传输该信息 。
北京师范大学互联网发展研究院院长助理、博导、中国互联网协会研究中心副主任吴沈括认为,征求意见稿的出台对于利用深度伪造的技术实施色情、暴恐、虚假信息等犯罪治理,有非常重要的生态性意义 。 “(征求意见稿)能够提高溯源的水平、判定犯罪主体的准确度,并且提高各方在治理、处置深度合成滥用情形中的应对能力 。 也能提高对已发生的违法犯罪活动的处置效率和水平 。 ”
【深度合成内容5年增长超10倍 专家预测未来一切都可能被伪造】采写:南都采访人员　李娅宁　见习采访人员　胡耕硕　数据来源:清华大学人工智能研究院公众号