推荐：2010 年以来，ML 算力需求增长 100 亿倍，每 6 个月翻番，深度学习成分水岭。
论文 5：GroupViT: Semantic Segmentation Emerges from Text Supervision
- 作者：Jiarui Xu 、 Shalini De Mello 、 Sifei Liu 等
- 论文链接：https://arxiv.org/pdf/2202.11094.pdf
摘要：来自加州大学圣圣地亚哥分校和英伟达的研究者提出这样一个问题：我们是否也可以学习一个纯文本监督的语义分割模型，无需做任何像素标注，就能够以零样本方式泛化到不同对象类别或词汇集？
为了实现这一点，他们提出将分组机制加入深度网络。只要通过文本监督学习，分组机制就可以自动生成语义片段。方法概览如下图 1 所示，通过对具有对比损失的大规模配对图文数据进行训练，可以让模型不需要任何进一步的注释或微调的情况下，能够零样本迁移学习得到未知图像的语义分割词汇。
该研究的关键思想是利用视觉 Transformer（ViT）在其中加入新的视觉分组模块，研究者将新模型称为 GroupViT（分组视觉 Transformer）。
GroupVit 的语义分割效果如下动图所示。
GroupViT 包含按阶段分组的 Transformer 层的分层结构，每个阶段会处理逐渐放大的视觉片段。右侧的图像显示了在不同分组阶段要处理的视觉片段。在初期阶段模型将像素分组为局部对象，例如大象的鼻子和腿。在更高的阶段进一步将它们合并成整体，例如整个大象和背景森林。
每个分组阶段都以一个分组块结束，该块会计算学习到的组标记和片段（图像）标记之间的相似度。相似度高的组会分配给同一组的段标记并合并在一起，并做进入下一个分组阶段的新段标记。
图 2：（a) GroupViT 的架构和训练流程。(b) 分组块的架构。
推荐：做语义分割不用任何像素标签，UCSD、英伟达在 ViT 中加入分组模块，入选 CVPR 2022。
论文 6：A SYSTEMATIC EVALUATION OF LARGE LANGUAGE MODELS OF CODE
- 作者：Frank F. Xu 、 Uri Alon 等
- 论文链接：https://arxiv.org/pdf/2202.13169.pdf
摘要：在近日一篇论文中，来自 CMU 计算机科学学院的几位研究者对跨不同编程语言的现有代码模型——Codex、GPT-J、GPT-Neo、GPT-NeoX 和 CodeParrot 进行了系统评估。他们希望通过比较这些模型来进一步了解代码建模设计决策的前景，并指出关键的缺失一环，即迄今为止，没有大规模开源语言模型专门针对多编程语言的代码进行训练。研究者推出了三个此类模型，参数量从 160M 到 2.7B，并命名为「PolyCoder」。
研究者首先对 PolyCoder、开源模型和 Codex 的训练语评估设置进行了广泛的比较；其次，在 HumanEval 基准上评估这些模型，并比较了不同大小和训练步的模型如何扩展以及不同的温度如何影响生成质量；最后，由于 HumanEval 只评估自然语言和 Python 生成，他们针对 12 种语言中的每一种都创建了相应未见过的评估数据集，以评估不同模型的困惑度。
结果表明，尽管 Codex 声称最擅长 Python 语言，但在其他编程语言中也表现出奇得好，甚至优于在 Pile（专为训练语言模型设计的 825G 数据集）上训练的 GPT-J 和 GPT-NeoX。不过，在 C 语言中，PolyCoder 模型取得的困惑度低于包括 Codex 在内的所有其他模型。
下图 1 展示了现有语言代码模型及它们的大小和可用性，除 Codex 和 Austin'21 之外全部开源。
研究者还讨论了代码语言建模中使用的三种流行的预训练方法，具体如下图 2 所示。
推荐：CMU 创建一个开源的 AI 代码生成模型，C 语言表现优于 Codex。
论文 7：OUR-GAN: One-shot Ultra-high-Resolution Generative Adversarial Networks
- 作者：Donghwee Yoon 、 Junseok Oh 等
- 论文链接：https://arxiv.org/pdf/2202.13799.pdf
摘要：传统生成模型通常从相对较小的图像数据集中，基于 patch 分布学习生成大型图像，这种方法很难生成视觉上连贯的图像。OUR-GAN 以低分辨率生成视觉上连贯的图像，然后通过超分辨率逐渐提升分辨率。由于 OUR-GAN 从真实的 UHR 图像中学习，它可以合成具有精细细节的大规模形状，同时保持远距离连贯性。
OUR-GAN 应用无缝衔接的子区域超分辨率，在内存受限的条件下合成 4K 或更高分辨率的 UHR 图像，并解决了边界不连续的问题。此外，OUR-GAN 通过向特征图添加垂直位置嵌入来提高多样性和视觉连贯性。在 ST4K 和 RAISE 数据集上的实验结果表明：与现有方法相比，OUR-GAN 表现出更高的保真度、视觉连贯性和多样性。
我们来看一下 OUR-GAN 的合成效果，下图（上）是 OUR-GAN 训练使用的单个 4K 图像，（下）是 OUR-GAN 合成的 16K (16384 x 10912) 图像。
以下几组是 OUR-GAN 合成的 4K 风景图：
OUR-GAN 成功合成了具有多种图案的高质量纹理图像：
OUR-GAN 通过三个步骤合成占用有限 GPU 内存的 UHR 图像，如下图 3 所示。首先，OURGAN 生成低分辨率的全局结构。然后通过 in-memory 超分辨率在内存限制内尽可能提高分辨率。最后，OURGAN 通过逐个子区域应用超分辨率来进一步提高超出内存限制的分辨率来合成 UHR 图像。
超分辨率模型的输出分辨率受限于训练图像的分辨率。然而，ZSSR 和 MZSR 已经证明，通过利用信息的内部循环，超分辨率模型可以生成比训练图像大 2 到 4 倍的图像。
推荐：首个单样本（one-shot）超高分辨率（UHR）图像合成框架 OUR-GAN，能够从单个训练图像生成具有 4K 甚至更高分辨率的非重复图像。
