CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理
Subjects: cs.CL
1.ART: Automatic multi-step reasoning and tool-use for large language models
标题：ART：大型语言模型的自动多步推理和工具使用
作者：Bhargavi Paranjape, Scott Lundberg, Sameer Singh, Hannaneh Hajishirzi, Luke Zettlemoyer, Marco Tulio Ribeiro
文章链接：https://arxiv.org/abs/2303.09014
摘要：
大型语言模型 (LLM) 可以通过生成中间思维链 (CoT) 推理步骤在少镜头和零镜头设置中执行复杂推理。此外，每个推理步骤都可以依赖外部工具来支持超出核心 LLM 功能（例如搜索/运行代码）的计算。之前关于 CoT 提示和工具使用的工作通常需要手工制作特定于任务的演示，并仔细编写模型生成与工具使用的交错脚本。我们介绍了自动推理和工具使用 (ART)，这是一个使用冻结的 LLM 自动生成中间推理步骤作为程序的框架。给定一个要解决的新任务，ART 从任务库中选择多步推理和工具使用的演示。在测试时，只要调用外部工具，ART 就会无缝地暂停生成，并在恢复生成之前整合它们的输出。ART 在 BigBench 和 MMLU 基准测试中对未见任务的小样本提示和自动 CoT 进行了实质性改进，并且在大多数这些任务上与手工制作的 CoT 提示的性能相匹配。ART 也是可扩展的，并且使人类可以轻松地通过纠正特定任务程序中的错误或合并新工具来提高性能，我们通过在最少的人工干预下显着提高选定任务的性能来证明这一点。
Subjects: cs.LG
2.SemDeDup: Data-efficient learning at web-scale through semantic deduplication
标题：SemDeDup：通过语义重复数据删除进行网络规模的数据高效学习
作者：Amro Abbas, Kushal Tirumala, Dániel Simig, Surya Ganguli, Ari S. Morcos
文章链接：https://arxiv.org/abs/2303.09540
摘要：
机器学习的进步在很大程度上是由数据的大量增加推动的。然而，像 LAION 这样的大型网络规模的数据集除了搜索精确的重复项外，基本上没有经过整理，可能会留下很多冗余。在这里，我们介绍 SemDeDup，这是一种利用预训练模型的嵌入来识别和删除语义重复项的方法：语义相似但不完全相同的数据对。删除语义重复项可以保持性能并加快学习速度。通过分析 LAION 的一个子集，我们表明 SemDeDup 可以删除 50% 的数据，而性能损失最小，从而有效地将训练时间减半。此外，性能会因分布而增加。此外，通过分析在 C4（部分精选的数据集）上训练的语言模型，我们表明 SemDeDup 比之前的方法有所改进，同时提供了效率提升。SemDeDup 提供了一个示例，说明如何使用利用质量嵌入的简单方法来使模型用更少的数据更快地学习。
Subjects: cs.CV
3.Efficient Diffusion Training via Min-SNR Weighting Strategy
标题：通过 Min-SNR 加权策略进行有效的扩散训练
作者：Tiankai Hang, Shuyang Gu, Chen Li, Jianmin Bao, Dong Chen, Han Hu, Xin Geng, Baining Guo
文章链接：https://arxiv.org/abs/2302.01660v2
项目代码：https://github.com/ysig/learnable-typewriter
摘要：
去噪扩散模型一直是图像生成的主流方法，但是，训练这些模型通常会收敛缓慢。在本文中，我们发现缓慢收敛的部分原因是时间步之间的优化方向相互冲突。为了解决这个问题，我们将扩散训练视为一个多任务学习问题，并引入了一种简单而有效的方法，称为 Min-SNR- γ 。该方法根据钳位信噪比调整时间步长的损失权重，有效地平衡了时间步长之间的冲突。我们的结果表明收敛速度有了显着提高，比以前的加权策略快 3.4 倍 。它也更有效，使用比以前最先进的架构更小的架构在 ImageNet 256×256 基准测试中取得了 2.06 的新纪录 FID 分数。
