2021 年之后，机器学习将会对哪些领域产生前所未有的影响？
在过去的数年，见证了机器学习（ML）和计算机科学领域的许多变化。按照这种长弧形的进步模式，人们或许将在接下来的几年中看到许多令人兴奋的进展，这些进步最终将造福数十亿人的生活，并产生比以往更深远的影响。
在一篇总结文章中，谷歌 AI 负责人、知名学者 Jeff Dean 重点介绍了 2021 年之后机器学习最具潜力的五个领域：
- 趋势 1：能力、通用性更强的机器学习模型
- 趋势 2：机器学习持续的效率提升
- 趋势 3：机器学习变得更个性化，对社区也更有益
- 趋势 4：机器学习对科学、健康和可持续发展的影响越来越大
- 趋势 5：对机器学习更深入和更广泛的理解
文章具体内容如下：
趋势 1：能力、通用性更强的机器学习模型
研究人员正在训练比以往任何时候规模更大、能力更强的机器学习模型。过去几年，语言领域已经从数百亿 token 数据上训练的数十亿参数模型（如 110 亿参数的 T5 模型），发展到了在数万亿 token 数据上训练的数千亿或万亿参数模型（如 OpenAI 1750 亿参数的 GPT-3 和 DeepMind 2800 亿参数的 Gopher 等密集模型和谷歌 6000 亿参数的 GShard 和 1.2 万亿参数的 GLaM 等稀疏模型）。数据集和模型规模的增长带来了多种语言任务上准确率的显著提升，并通过标准 NLP 基准任务上的全面改进证明了这一点。
这些先进的模型中有很多都聚焦于单一但重要的书面语言形态上，并在语言理解基准和开放式会话能力中展现出了 SOTA 结果，即使跨同一领域多个任务也是如此。同时，这些模型在训练数据相对较少时也有能力泛化至新的语言任务，在某些情况下，对于新任务需要极少甚至不需要训练样本。
与谷歌对话应用语言模型 LaMDA 模拟威德尔氏海豹（weddell seal）时的对话。
Transformer 模型也对图像、视频和语音模型产生了重大影响，所有这些都从规模中获益颇多。用于图像识别和视频分类的 Transformer 模型在很多基准上实现了 SOTA，我们也证明了在图像和视频数据上协同训练模型可以获得较单独在视频数据上训练模型更高的性能。
我们开发了用于图像和视频 Transformer 的稀疏、轴性注意力机制，为视觉 Transformer 模型找到了更好的标记化图像方法，并通过检查视觉 Transformer 方法相较于 CNN 的操作原理来提升对它们的理解。卷积操作与 Transformer 模型的结合也在视觉和语音识别任务中大有裨益。
生成模型的输出也大幅提升。这在图像生成模型中最为明显，并在过去几年取得了显著进步。例如，最近的模型有能力在仅给出一个类别的情况下创建真实图像，可以填充一个低分辨率图像以创建看起来自然的高分辨率对应物，甚至还可以创建任意长度的空中自然景观。
基于给定类生成全新图像的 cascade 扩散模型示意图。
除了先进的单模态模型之外，大规模多模态模型也在发展中。其中一些最先进的多模态模型可以接受语言、图像、语言和视频等多种不同的输入模态，产生不同的输出模态。这是一个令人兴奋的方向，就像真实世界一样，有些东西在多模态数据中更容易学习。
同样地，图像和文本配对有助于多语种检索任务，并且更好地理解如何配对文本和图像输入可以提升图像描述任务。视觉和文本数据上的协同训练有助于提升视觉分类任务的准确率和稳健性，同时图像、视频和语音任务上的联合训练能够提升所有模态的泛化性能。
谷歌机器人团队（Robotics at Google）基于视觉的机器人操作系统的示意图，该系统可以泛化至全新任务。
所有这些趋势都指向了训练能力更强的通用性模型，这些模型可以处理多种数据模态并解决数千甚至数万个任务。在接下来的几年，我们将通过下一代架构 Pathways 来追求这一愿景，并期望在该领域看到实质性进展。
Pathways 我们正在努力构建能够在数百万个任务中实现泛化的单一模型。
趋势 2：机器学习持续的效率提升
效率的提升源自计算机硬件设计和机器学习算法、元学习研究的进步，并正在推动机器学习模型更强大的功能。机器学习 pipeline 的很多方面，从训练和执行模型的硬件到机器学习架构的各个组件，这些都可以进行效率优化，同时保持或提升整体性能。更高的效率促成了大量关键性进步，这些进步将继续显著提升机器学习的效率，使更大、更高质量的机器学习模型能够在保持成本效益的前提下开发，并进一步促进大众化。
一是机器学习加速性能的持续提升。每一代机器学习加速器都较前代更强，实现了更快的每芯片性能，并常常增加整体系统的规模。2021 年，我们推出了谷歌第四代张量处理器 TPUv4，在 MLPerf 基准上显示出较 TPUv3 2.7 倍的提升。移动设备上的机器学习能力也在显著提升。Pixel 6 手机配有全新的谷歌张量处理器（Google Tensor processor ），该处理器集成了一个强大的机器学习加速器，以支持重要的设备上功能。
左：TPUv4 板；中：TPUv4 舱；右：Pixel 6 手机采用的谷歌张量芯片。
