重要标杆
Transformers 已经用实际行动证明自己在视觉任务、地震预测、蛋白质分类与合成等领域的优异表现 。
过去一年以来 ， 研究人员开始将其推向更广阔的新领域 。

• TransGAN 是一套生成对抗网络 ， 结合 transformers 以确保所生成的各个像素都与之前已生成的像素一致 。 这项成果能够有效衡量所生成图像与原始训练数据之间的相似度 。
  
• Facebook 的 TImeSformer 使用该架构识别视频片段中的动作元素 。 它的任务不再是从文本中识别单词序列 ， 而是尝试解释视频帧中的序列关系 。 其性能优于卷积神经网络 ， 能够在更短时间内分析更长的视频片段 ， 因此能耗也控制在更低水平 。
  
• Facebook、谷歌及加州大学伯克利分校的研究人员在文本上训练出 GPT-2 ， 之后冻结了其 self-attention 与 feed-forward 层 。 在此基础上 ， 他们可以针对不同用例进行模型微调 ， 包括数学、逻辑问题及计算机视觉等 。
  
• 【吴恩达的2021回顾，这些大事件影响了AI这一年】DeepMind 发布了 AlphaFold 2 的开源版本 ， 其使用 transformers 根据氨基酸序列预测蛋白质的 3D 结构 。 该模型在医学界内掀起轩然大波 ， 人们普遍认为其具备推动药物发现和揭示生物学原理的巨大潜力 。
  

新闻背后
Transformer 于 2017 年首次亮相 ， 之后迅速改变了语言处理模型的设计思路 。 其 self-attention 机制能够跟踪序列中各元素与其他元素间的关系 ， 不仅可用于分析单词序列 ， 还适合分析像素、视频帧、氨基酸、地震波等序列 。
基于 transformer 的大型语言模型已经建立起新的客观标准 ， 包括在大型未标记语料库上进行模型预训练 ， 利用有限数量的标记示例针对特定任务进行微调等 。
Transformer 架构良好的普适性 ， 可能预示着未来我们将创造出能解决多领域多问题的 AI 模型 。
发展现状
在深度学习的发展过程中 ， 有几个概念曾经迅速普及：ReLU 激活函数、Adam 优化器、attention 注意力机制 ， 再加上现在的 transformer 。
过去一年的发展证明 ， 这种架构确实具有旺盛的生命力 。
各国政府出台人工智能相关法律
各国政府纷纷制定新的法律和提案 ， 希望控制 AI 自动化对现代社会的影响 。
背景信息
随着 AI 对隐私、公平性、安全性及国际竞争关系带来的潜在影响 ， 各国政府也开始加大对 AI 的监管力度 。
重要标杆
AI 相关法律往往反映出各国在政治秩序中的价值判断 ， 包括如何在社会公平与个人自由之间求取平衡 。

这项规则草案于今年 4 月发布 ， 目前仍在立法流程之内 ， 预计未来 12 个月内仍无法落地 。

• 从明年开始 ， 中国互联网监管机构将强制对可能破坏社会公序良俗的 AI 系统与推荐算法执行监督 。 打击的目标包括传播虚假信息、引导成瘾行为及危害国家安全的各类系统 。 企业在部署任何可能左右公众情绪的算法之前必须获得批准 ， 违规算法一律不得上线 。
• 联合国民权高级专员呼吁各成员国暂停 AI 的某些用途 ， 包括可能侵犯人权、限制民众获取基本服务、以及滥用私人数据的情形 。

新闻背后
AI 社区正在逐步走向监管层面的共识 。
最近对 534 位机器学习研究人员进行的一项调查发现 ， 68% 的受访者认为模型部署确实应该重视可信度与可靠性 。 受访者们对于欧盟及联合国等国际机构的信任度 ， 也普遍高于对各国政府的信任度 。
发展现状
在中国以外 ， 大部分 AI 相关法规仍处于审查阶段 。 但从目前的提案来看 ， AI 从业者必须为政府全面介入的必然前景做好准备 。