• 能耗：训练如此庞大的网络会消耗大量电能 。 2019 年的一项研究发现 ， 在 8 个英伟达 P100 GPU 上训练一个包含 2 亿参数的 transformer 模型所造成的碳排放（以化石燃料发电计算） ， 相当于一辆普通汽车五年的行驶总排放量 。
  

当然 ， Cerebras 的 WSE-2 及谷歌最新 TPU 等新一代 AI 加速型芯片有望降低排放 ， 而风能、太阳能及其他清洁能源的供应也在同步增加 。 相信 AI 研究对环境的破坏将愈发轻微 。

• 模型交付：这些庞大的模型很难在消费级或边缘设备上运行 ， 所以真正的规模部署只能通过互联网访问或精简版本实现——不过二者目前各有问题 。
  

发展现状
自然语言建模排行榜中的主力仍然是千亿级模型 ， 毕竟万亿级参数的处理难度实在太高 。
但可以肯定 ， 未来几年会有更多万亿级俱乐部成员加入进来 ， 而且这种趋势仍将持续 。 有传闻称 ， OpenAI 规划中的 GPT-3 继任者将包含更加恐怖的百万亿级参数 。
AI 生成音频内容渐成“主流化”
音乐家和电影制作人们 ， 已经习惯于使用 AI 支持型音频制作工具 。
背景信息
专业媒体制作人们会使用神经网络生成新的声音并修改旧有声音 。 配音演员们自然对此大为不满 。
重要标杆
生成模型能够从现有录音中学习特征 ， 进而创造出令人信服的复制品 。 也有些制作人直接使用这项技术原创声音或模仿现有声音 。

• 美国初创公司 Modulate 使用生成对抗网络为用户实时合成新的语音 ， 使得游戏玩家和语聊用户能够建立起自己的虚拟角色；也有跨性别者用它调整自己的声音 ， 借此获得与性别身份相一致的音色 。
• Sonantic 是一家专门从事声音合成的初创公司 。 演员 Val Kilmer 于 2015 年因咽喉手术而丧失了大部分发声能力 ， 该公司则利用原有素材为他专门创造了一种音色 。
• 电影制作人 Morgan Neville 聘用一家软件公司 ， 在自己的纪录片《流浪者: 一部关于安东尼·波登的电影》中重现了已故旅游节目主持人波登的声音 。 但此举引起了波登遗孀的愤怒 ， 她表示自己并未许可这种行为 。
  

挺好 ， 但是……
争议不止这一例 。
配音演员们也担心这项技术会威胁到自己的生计 。 2015 年年度游戏《巫师 3：狂猎》的粉丝们甚至在同人 Mod 版本中用这项技术重现了原配音演员们的声音 。
新闻背后
最近出现的音频生成主流化倾向 ， 完全是早期研究成果的自然延续 。

• OpenAI 的 Jukebox 就使用 120 万首歌曲进行训练 ， 可利用自动编码器、转换器及解码器管道进行全实时录音生成 ， 风格涵盖从猫王到艾米纳姆等多位歌手 。
• 2019 年 ， 某匿名 AI 开发者设计出一种技术 ， 允许用户在短短 15 秒内利用文本行重现动画及视频游戏角色的声音 。
  

发展现状
生成音频及生成视频不仅让媒体制作人多了一种修复并增强归档素材的能力 ， 同时也让他们能够从零开始创造新的、真假难辨的素材 。
但由此引发的道德与法律问题也在增加 。 如果配音演员被 AI 彻底取代 ， 他们的损失该由谁承担？将已故者的声音在商业化作品中重现涉及哪些所有权纠纷？能不能利用 AI 为已故歌手推出新专辑？这么做对吗？
一种架构 ， 驾驭一切
Transformer 架构正在快速拓展自己的影响范围 。
背景信息
Transformers 架构最初专为自然语言处理所开发 ， 但目前已经成为深度学习领域的“万金油” 。 2021 年 ， 人们已经在用它发现药物、识别语音和图像等 。