继 Imagen 后，谷歌又推出了文本 - 图像生成模型 Parti。
你见过一只小狗破壳而出吗？或者用飞艇俯瞰蒸汽朋克中的城市？又或者两个机器人在电影院像人类一样看电影…… 这些听起来可能有些天马行空，但一种名为「文本到图像生成」的新型机器学习技术使这些成为可能。
谷歌研究院的科学家和工程师一直致力于探索使用各种 AI 技术生成文本到图像的方法。
今年 5 月底，谷歌推出 AI 创作神器 Imagen，它结合了 Transformer 语言模型和高保真扩散模型的强大功能，在文本到图像的合成中提供前所未有的逼真度和语言理解能力。与仅使用图像 - 文本数据进行模型训练的先前工作相比，Imagen 的关键突破在于：谷歌的研究者发现在纯文本语料库上预训练的大型 LM 的文本嵌入对文本到图像的合成显著有效。Imagen 的文本到图像生成可谓天马行空，能生成多种奇幻却逼真的有趣图像。
Imagen 生成效果是这样的，比如正在户外享受骑行的柴犬（下图左）以及狗狗照镜子发现自己是只猫（下图右）：
时隔没多久，谷歌又推出了 Parti（Pathways Autoregressive Text-to-Image），该模型最高可扩展至 200 亿参数，并且随着可使用参数数量的增长，其输出的图像也能够更加逼真。
值得一提的是，这是谷歌大牛 Jeff Dean 提出的多任务 AI 大模型蓝图 Pathways 的一部分。
我们先来看下 Parti 效果，袋熊在瀑布旁，背着书包，拄着拐杖眺望着远方：
埃及阿努比斯肖像，在洛杉矶背景下，戴着飞行员护目镜，穿着白色 t 恤和黑色皮夹克：
一只熊猫戴着一顶巫师帽骑在马上：
下面我们介绍一下 Parti 的实现原理。
Parti 模型
与 DALL-E、CogView 和 Make-A-Scene 类似，Parti 是一个两阶段模型，由图像 tokenizer 和自回归模型组成，如下图 3 所示。第一阶段训练一个 tokenizer，该 tokenizer 可以将图像转换为一系列离散的视觉 token，用于训练并在推理时重建图像。第二阶段训练从文本 token 生成图像 token 的自回归序列到序列模型。
