每日学术速递4.12

本文涉及的产品
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_基础版,每接口每天50万次
NLP自然语言处理_高级版,每接口累计50万次
简介: 我们提出了 LLMA,这是一种 LLM 加速器,可以无损地加速带有引用的大型语言模型 (LLM) 推理。LLMA 的动机是观察到在 LLM 的解码结果和许多现实世界场景(例如,检索到的文档)中可用的参考之间存在大量相同的文本跨度。LLMA 首先从参考中选择一个文本跨度并将其标记复制到解码器

CV - 计算机视觉 |  ML - 机器学习 |  RL - 强化学习 | NLP 自然语言处理

Subjects: cs.HC


随着新的“生成代理”论文的发布,LLM刚刚达到了一个重要的里程碑——通过使用 LLM,生成代理能够在受《模拟人生》启发的交互式沙箱中模拟类人行为。代理架构扩展了语言模型,以存储代理使用自然语言的完整体验记录,随着时间的推移将这些记忆合成为更高级别的反射,并动态检索它们以规划行为。

它有三个组成部分:

1.记忆流,它记录了代理人经验的全面清单

2.反馈,随着时间的推移,将记忆综合为更高层次的推断

3.规划,将这些结论和当前环境转化为高层次的行动计划。

1.Generative Agents: Interactive Simulacra of Human Behavior

6ae399a2d2f4cb0763c4b9344e8ef168.png

标题:生成代理:人类行为的交互式模拟

作者:Joon Sung Park, Joseph C. O'Brien, Carrie J. Cai, Meredith Ringel Morris, Percy Liang, Michael S. Bernstein

文章链接:https://arxiv.org/abs/2304.03442

项目代码:https://reverie.herokuapp.com/arXiv_Demo/

081a977a00434f4af8a30af0cf8daea8.png

36b9c67826d1d37890de72a96847c067.png

83943fc898936598ad2df9ea5b28e0f4.png

27abe4c3fe28c2e3af296561c2804250.png

f9859bb9842dcfcd41664675e550bf28.png

ae1be8c0efec87852e8e5b630e71e25a.png

9cf2d387bc6e3083bccbd813ee0d9446.png

摘要:

       人类行为的可信代理可以增强交互式应用程序的能力,从沉浸式环境到用于人际交流的排练空间再到原型制作工具。在本文中,我们介绍了生成代理——模拟可信人类行为的计算软件代理。生成代理起床,做早餐,然后去上班;艺术家作画,作家写作;他们形成意见,互相注意,并发起对话;他们在计划第二天时会记住并反思过去的日子。为了启用生成代理,我们描述了一种架构,它扩展了一个大型语言模型,以存储代理使用自然语言的体验的完整记录,随着时间的推移将这些记忆合成为更高级别的反射,并动态检索它们以规划行为。我们实例化生成代理以填充受模拟人生启发的交互式沙箱环境,最终用户可以在其中使用自然语言与 25 个代理的小镇进行交互。在评估中,这些生成代理会产生可信的个人和紧急社会行为:例如,从只有一个用户指定的想法开始,即一个代理想要举办情人节派对,代理在接下来的两个时间里自动向派对发出邀请几天,结识新朋友,互相邀请参加聚会的日期,并协调在合适的时间一起出现在聚会上。我们通过消融证明了我们代理架构的组件——观察、规划和反思——每个组件都对代理行为的可信度做出了重要贡献。通过将大型语言模型与计算交互代理相融合,这项工作引入了架构和交互模式,以实现对人类行为的可信模拟。

2.OpenAGI: When LLM Meets Domain Experts

e0fd39175ead08347352b73bbcdc621a.png

标题:OpenAGI:当 LLM 遇到领域专家

作者:Yingqiang Ge, Wenyue Hua, Jianchao Ji, Juntao Tan, Shuyuan Xu, Yongfeng Zhang

文章链接:https://arxiv.org/abs/2304.04370

项目代码:https://github.com/agiresearch/OpenAGI

ccb5c1c3bdf5cdd5e328bcd464310b02.png

ace59f79b00ca42b28bcd04ffced1301.png

0034b571f6f262c97923df1bb243a54e.png

摘要:

       人类智能具有将基本技能组合成复杂技能以解决复杂任务的非凡能力。这种能力对于人工智能 (AI) 同样重要,因此,我们断言,除了开发大型综合智能模型之外,让这些模型具备利用各种特定领域专家模型的能力同样重要在追求通用人工智能 (AGI) 过程中解决复杂的任务。大型语言模型 (LLM) 的最新发展展示了卓越的学习和推理能力,使其有望成为选择、综合和执行外部模型以解决复杂任务的控制器。在这个项目中,我们开发了 OpenAGI,这是一个开源 AGI 研究平台,专门设计用于提供复杂的多步骤任务,并附带特定于任务的数据集、评估指标和各种可扩展模型。OpenAGI 将复杂任务制定为自然语言查询,作为 LLM 的输入。LLM 随后选择、综合和执行 OpenAGI 提供的模型来解决任务。此外,我们提出了一种任务反馈强化学习(RLTF)机制,该机制使用任务解决结果作为反馈来提高 LLM 的任务解决能力。因此,LLM 负责综合各种外部模型来解决复杂的任务,而 RLTF 提供反馈以提高其任务解决能力,从而实现自我改进 AI 的反馈循环。我们认为,LLM 运行各种专家模型来解决复杂任务的范例是一种很有前途的 AGI 方法。为了便于社区对AGI能力的长期提升和评估,我们将OpenAGI项目的代码、基准测试和评估方法开源在这个https地址。

3.Inference with Reference: Lossless Acceleration of Large Language Models


634238a2c7f556efaf4f6af0782282a7.png


标题:参考推理:大型语言模型的无损加速

作者:Nan Yang, Tao Ge, Liang Wang, Binxing Jiao, Daxin Jiang, Linjun Yang, Rangan Majumder, Furu Wei

文章链接:https://arxiv.org/abs/2304.04487

4dc7e5a735f9d4e26085932f834c3250.png

4d3b6395260114331dfdb8f2687d86f0.png

3fa6fcbb50c3ab0e0eca1bce4661cc8b.png

4b85da4fbc46c023f46e1579e78628ab.png

dad4ef00434f56f411270cbcd923f9d6.png

摘要:

       我们提出了 LLMA,这是一种 LLM 加速器,可以无损地加速带有引用的大型语言模型 (LLM) 推理。LLMA 的动机是观察到在 LLM 的解码结果和许多现实世界场景(例如,检索到的文档)中可用的参考之间存在大量相同的文本跨度。LLMA 首先从参考中选择一个文本跨度并将其标记复制到解码器,然后在一个解码步骤中并行有效地检查标记作为解码结果的适当性。改进的计算并行性允许 LLMA 实现超过 2 倍的 LLM 加速,并且在许多实际生成场景中具有与贪婪解码相同的生成结果,在这些场景中上下文参考和输出之间存在显着重叠(例如,搜索引擎和多轮对话)。

目录
打赏
0
0
0
0
12
分享
相关文章
每日学术速递3.20
大型语言模型 (LLM) 可以通过生成中间思维链 (CoT) 推理步骤在少镜头和零镜头设置中执行复杂推理。此外,每个推理步骤都可以依赖外部工具来支持超出核心 LLM 功能(例如搜索/运行代码)的计算。之前关于 CoT 提示和工具使用的工作通常需要手工制作特定于任务的演示,并仔细编写模型生成与工具使用的交错脚本。
208 0
每日学术速递3.20
每日学术速递3.27
向多指机器人教授灵巧性一直是机器人学领域的一项长期挑战。该领域最突出的工作集中在学习控制器或策略,这些控制器或策略对视觉观察或从视觉得出的状态估计进行操作。然而,这种方法在需要对接触力或手本身遮挡的物体进行推理的细粒度操作任务上表现不佳。
147 0
每日学术速递3.27
每日学术速递4.10
雨雪天气去除是天气退化图像恢复中的一项专门任务,旨在消除共存的雨条纹和雪颗粒。在本文中,我们提出了 RSFormer,这是一种高效且有效的 Transformer,可以应对这一挑战。最初,我们探索了层次结构中卷积网络 (ConvNets) 和视觉变换器 (ViTs) 的接近程度,并通过实验发现它们在阶段内特征学习中的表现大致相同。
176 0
每日学术速递4.4
我们对 Embodied AI 的预训练视觉表示 (PVR) 或视觉“基础模型”进行了最大、最全面的实证研究。首先,我们策划了 CortexBench,它由 17 项不同的任务组成,涵盖运动、导航、灵巧和移动操作。接下来,我们系统地评估现有的 PVR,发现没有一个具有普遍优势。为了研究预训练数据规模和多样性的影响
176 0
每日学术速递3.21
随着神经辐射场 (NeRFs) 的引入,新颖的视图合成最近取得了巨大飞跃。NeRF 的核心是提出每个 3D 点都可以发出辐射,从而允许使用可区分的体积渲染进行视图合成。虽然神经辐射场可以准确地表示用于计算图像渲染的 3D 场景,但 3D 网格仍然是大多数计算机图形和模拟管道支持的主要场景表示,支持实时渲染和基于物理的模拟等任务。
161 0
每日学术速递3.15
数据驱动是深度学习算法最具标志性的特性之一。ImageNet 的诞生推动了计算机视觉“从大规模数据中学习”的显着趋势。在 ImageNet 上进行预训练以获得丰富的通用表征已被证明有利于各种 2D 视觉任务,并成为 2D 视觉的标准。
203 0
每日学术速递3.23
我们介绍了 Zero-1-to-3,这是一个框架,用于在给定单个 RGB 图像的情况下更改对象的相机视点。为了在这种欠约束的环境中执行新的视图合成,我们利用了大规模扩散模型了解自然图像的几何先验。我们的条件扩散模型使用合成数据集来学习相对相机视点的控制,这允许在指定的相机变换下生成同一对象的新图像。
128 0
每日学术速递4.7
我们引入了一种新颖的框架,可以毫不费力地训练深度立体网络,无需任何基本事实。通过利用最先进的神经渲染解决方案,我们从使用单个手持相机收集的图像序列生成立体训练数据。
160 0
每日学术速递3.16
本文提出了一个统一的扩散框架(称为 UniDiffuser),以在一个模型中拟合与一组多模态数据相关的所有分布。我们的关键见解是——学习边缘分布、条件分布和联合分布的扩散模型可以统一为预测扰动数据中的噪声,其中扰动水平(即时间步长)对于不同的模式可能不同。
198 0
每日学术速递3.22
我们介绍了一种新颖的方法,通过对一种或多种字母字体进行风格化来自动生成艺术排版,以直观地传达输入词的语义,同时确保输出保持可读性。为了解决我们手头任务的各种挑战,包括相互冲突的目标(艺术风格化与易读性)、缺乏基本事实和巨大的搜索空间,我们的方法利用大型语言模型来桥接文本和视觉图像以进行风格化,并建立一个无监督的具有扩散模型骨干的生成模型。
129 0