同样地 ， 图像和文本配对有助于多语种检索任务 ， 并且更好地理解如何配对文本和图像输入可以提升图像描述任务 。 视觉和文本数据上的协同训练有助于提升视觉分类任务的准确率和稳健性 ， 同时图像、视频和语音任务上的联合训练能够提升所有模态的泛化性能 。

文章图片

谷歌机器人团队（Robotics at Google）基于视觉的机器人操作系统的示意图 ， 该系统可以泛化至全新任务 。
所有这些趋势都指向了训练能力更强的通用性模型 ， 这些模型可以处理多种数据模态并解决数千甚至数万个任务 。 在接下来的几年 ， 我们将通过下一代架构 Pathways 来追求这一愿景 ， 并期望在该领域看到实质性进展 。

文章图片

Pathways 我们正在努力构建能够在数百万个任务中实现泛化的单一模型 。
趋势 2：机器学习持续的效率提升
效率的提升源自计算机硬件设计和机器学习算法、元学习研究的进步 ， 并正在推动机器学习模型更强大的功能 。 机器学习 pipeline 的很多方面 ， 从训练和执行模型的硬件到机器学习架构的各个组件 ， 这些都可以进行效率优化 ， 同时保持或提升整体性能 。 更高的效率促成了大量关键性进步 ， 这些进步将继续显著提升机器学习的效率 ， 使更大、更高质量的机器学习模型能够在保持成本效益的前提下开发 ， 并进一步促进大众化 。
一是机器学习加速性能的持续提升 。 每一代机器学习加速器都较前代更强 ， 实现了更快的每芯片性能 ， 并常常增加整体系统的规模 。 2021 年 ， 我们推出了谷歌第四代张量处理器 TPUv4 ， 在 MLPerf 基准上显示出较 TPUv3 2.7 倍的提升 。 移动设备上的机器学习能力也在显著提升 。 Pixel 6 手机配有全新的谷歌张量处理器（Google Tensor processor ） ， 该处理器集成了一个强大的机器学习加速器 ， 以支持重要的设备上功能 。

文章图片

左：TPUv4 板；中：TPUv4 舱；右：Pixel 6 手机采用的谷歌张量芯片 。
二是机器学习编译和机器学习工作负载优化的持续提升 。 即使当硬件无法改变时 ， 编译器的改进以及机器学习加速器的其他系统软件优化也可以实现效率的显著提升 。

文章图片

在 150 个机器学习模型上使用基于 ML 的编译器进行自动调优 ， 可以实现端到端模型加速 。
三是人类创造力驱动的更高效模型架构的发现 。 模型架构的持续改进大幅度减少了在很多问题上实现一定准确率水平所需的计算量 。 例如 ， 在使用计算量比 CNN 少 4 至 10 倍的情况下 ， Vision Transformer 能够在大量不同的图像分类任务上提升 SOTA 结果 。
四是机器驱动的更高效模型架构的发现 。 神经架构搜索（NAS）可以自动发现新的机器学习架构 ， 这些架构对于给定的问题域更加高效 。 神经架构搜索的主要优势是可以显著减少算法开发所需的努力 ， 这是因为它对每个搜索空间和问题域组合只需要一次努力（one-time effort） 。
此外 ， 虽然执行神经架构搜索的初始努力需要很高的计算成本 ， 但生成的模型可以极大地减少下游研究和生产设置中的计算量 ， 从而减少整体资源需求 。