这些机器学习领域的研究你都读过吗？
2022 年即将步入尾声。在这一年里，机器学习领域涌现出了大量有价值的论文，对机器学习社区产生了深远的影响。
今日，ML & NLP 研究者、Meta AI 技术产品营销经理、DAIR.AI 创始人 Elvis S. 对 2022 年热度很高的 12 篇机器学习论文进行了汇总。帖子很火，还得到了图灵奖得主 Yann LeCun 的转推。
接下来，我们一一来看。
论文 1：A ConvNet for the 2020s
视觉识别的快速发展始于 ViT 的引入，其很快取代了传统 ConvNet，成为 SOTA 图像分类模型。ViT 模型在包括目标检测、语义分割等一系列计算机视觉任务中存在很多挑战。因此有研究者提出分层 Swin Transformer，重新引入 ConvNet 先验，使得 Transformer 作为通用视觉主干实际上可行，并在各种视觉任务上表现出卓越的性能。
然而，这种混合方法的有效性在很大程度上仍归功于 Transformer 的内在优势，而不是卷积固有的归纳偏置。本文中，FAIR 、UC 伯克利的研究者重新检查了设计空间并测试了纯 ConvNet 所能达到的极限。研究者逐渐将标准 ResNet「升级」为视觉 Transformer 的设计，并在此过程中发现了导致性能差异的几个关键组件。
论文地址：https://arxiv.org/abs/2201.03545v2
论文 2：Language Models as Zero-Shot Planners: Extracting Actionable Knowledge for Embodied Agents
通过大型语言模型（LLM）学习的世界知识能能用于交互式环境中的行动吗？本文中，UC 伯克利、CMU 和谷歌的研究者探究了将自然语言表达为一组选定可操作步骤的可能性。以往的工作侧重于从显式分布示例中学习如何行动，但他们惊讶地发现，如果预训练语言模型足够大并得到适当的提示，则可以有效地将高级任务分解为中级规划，无需进一步训练。但是，LLM 制定的规划往往无法精确地映射到可接受的行动。
研究者提出的步骤以现有演示为条件，并将规划在语义上转换为可接受的行动。在 VirtualHome 环境中的评估表明，他们提出的方法大大提高了 LLM 基线的可执行性。人工评估揭示了可执行性和正确性之间的权衡，但展现出了从语言模型中提取可操作知识的可能性迹象。
论文地址：https://arxiv.org/abs/2201.07207v2
论文 3：OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework
这是阿里达摩院推出的统一多模态多任务模型框架 OFA，总结了通用模型现阶段最好符合的三个特点，即模态无关、任务无关、任务多样性。该论文被 ICML 2022 接收。
在图文领域，OFA 将 visual grounding、VQA、image caption、image classification、text2image generation、language modeling 等经典任务通过统一的 seq2seq 框架进行表示，在任务间共享不同模态的输入输出，并且让 Finetune 和预训练保持一致，不新增额外的参数结构。
论文地址：https://arxiv.org/abs/2202.03052v2
论文 4：Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer
深度学习中的超参数（HP）调优是一个成本高昂的过程，对于具有数十亿参数的神经网络而言更是如此。本文中，微软和 OpenAI 的研究者表明，在最近发现的 Maximal Update Parametrization（muP）中，即使模型大小发生变化，很多最优 HP 仍保持稳定。
这促成了他们称为 muTransfer 的全新 HP 调优范式，即在 muP 中对目标模型进行参数化，在较小的模型上不直接进行 HP 调优，并将它们零样本迁移到全尺寸模型中，这也意味着根本不需要直接对后者模型进行调优。研究者在 Transformer 和 ResNet 上验证了 muTransfer。例如，通过从 40M 参数的模型进行迁移，性能优于已发布的 6.7B GPT-3 模型，调优成本仅为预训练总成本的 7%。
论文地址：https://arxiv.org/abs/2203.03466v2
论文 5：OPT: Open Pre-trained Transformer Language Models
大模型往往经过成千上万个计算日的训练，在零样本和少样本学习中展现出了非凡的能力。不过考虑到它们的计算成本，如果没有充足的资金，这些大模型很难复制。对于少数可以通过 API 获得的模型，无法访问它们完整的模型权重，也就难以展开研究。
本文中，Meta AI 的研究者提出了 Open Pre-trained Transformers（OPT），这是一套仅用于解码器的预训练 transformers 模型，参数从 125M 到 175B 不等。他们表明，OPT-175B 性能与 GPT-3 相当，但开发所需的碳足迹仅为后者的 1/7。
论文地址：https://arxiv.org/abs/2205.01068v4
论文 6：A Generalist Agent
受大规模语言建模的启发，Deepmind 构建了一个单一的「通才」智能体 Gato，它具有多模态、多任务、多具身（embodiment）特点。
Gato 可以玩雅达利游戏、给图片输出字幕、和别人聊天、用机械臂堆叠积木等等。此外，Gato 还能根据上下文决定是否输出文本、关节力矩、按钮按压或其他 token。
与大多数智能体玩游戏不同，Gato 使用相同的训练模型就能玩许多游戏，而不用为每个游戏单独训练。
论文地址：https://arxiv.org/abs/2205.06175v3
