每日学术速递4.12

本文涉及的产品
NLP自然语言处理_基础版,每接口每天50万次
NLP自然语言处理_高级版,每接口累计50万次
NLP 自学习平台,3个模型定制额度 1个月
简介: 我们提出了 LLMA,这是一种 LLM 加速器,可以无损地加速带有引用的大型语言模型 (LLM) 推理。LLMA 的动机是观察到在 LLM 的解码结果和许多现实世界场景(例如,检索到的文档)中可用的参考之间存在大量相同的文本跨度。LLMA 首先从参考中选择一个文本跨度并将其标记复制到解码器

CV - 计算机视觉 |  ML - 机器学习 |  RL - 强化学习 | NLP 自然语言处理

Subjects: cs.HC


随着新的“生成代理”论文的发布,LLM刚刚达到了一个重要的里程碑——通过使用 LLM,生成代理能够在受《模拟人生》启发的交互式沙箱中模拟类人行为。代理架构扩展了语言模型,以存储代理使用自然语言的完整体验记录,随着时间的推移将这些记忆合成为更高级别的反射,并动态检索它们以规划行为。

它有三个组成部分:

1.记忆流,它记录了代理人经验的全面清单

2.反馈,随着时间的推移,将记忆综合为更高层次的推断

3.规划,将这些结论和当前环境转化为高层次的行动计划。

1.Generative Agents: Interactive Simulacra of Human Behavior

6ae399a2d2f4cb0763c4b9344e8ef168.png

标题:生成代理:人类行为的交互式模拟

作者:Joon Sung Park, Joseph C. O'Brien, Carrie J. Cai, Meredith Ringel Morris, Percy Liang, Michael S. Bernstein

文章链接:https://arxiv.org/abs/2304.03442

项目代码:https://reverie.herokuapp.com/arXiv_Demo/

081a977a00434f4af8a30af0cf8daea8.png

36b9c67826d1d37890de72a96847c067.png

83943fc898936598ad2df9ea5b28e0f4.png

27abe4c3fe28c2e3af296561c2804250.png

f9859bb9842dcfcd41664675e550bf28.png

ae1be8c0efec87852e8e5b630e71e25a.png

9cf2d387bc6e3083bccbd813ee0d9446.png

摘要:

       人类行为的可信代理可以增强交互式应用程序的能力,从沉浸式环境到用于人际交流的排练空间再到原型制作工具。在本文中,我们介绍了生成代理——模拟可信人类行为的计算软件代理。生成代理起床,做早餐,然后去上班;艺术家作画,作家写作;他们形成意见,互相注意,并发起对话;他们在计划第二天时会记住并反思过去的日子。为了启用生成代理,我们描述了一种架构,它扩展了一个大型语言模型,以存储代理使用自然语言的体验的完整记录,随着时间的推移将这些记忆合成为更高级别的反射,并动态检索它们以规划行为。我们实例化生成代理以填充受模拟人生启发的交互式沙箱环境,最终用户可以在其中使用自然语言与 25 个代理的小镇进行交互。在评估中,这些生成代理会产生可信的个人和紧急社会行为:例如,从只有一个用户指定的想法开始,即一个代理想要举办情人节派对,代理在接下来的两个时间里自动向派对发出邀请几天,结识新朋友,互相邀请参加聚会的日期,并协调在合适的时间一起出现在聚会上。我们通过消融证明了我们代理架构的组件——观察、规划和反思——每个组件都对代理行为的可信度做出了重要贡献。通过将大型语言模型与计算交互代理相融合,这项工作引入了架构和交互模式,以实现对人类行为的可信模拟。

2.OpenAGI: When LLM Meets Domain Experts

e0fd39175ead08347352b73bbcdc621a.png

标题:OpenAGI:当 LLM 遇到领域专家

作者:Yingqiang Ge, Wenyue Hua, Jianchao Ji, Juntao Tan, Shuyuan Xu, Yongfeng Zhang

文章链接:https://arxiv.org/abs/2304.04370

项目代码:https://github.com/agiresearch/OpenAGI

ccb5c1c3bdf5cdd5e328bcd464310b02.png

ace59f79b00ca42b28bcd04ffced1301.png

0034b571f6f262c97923df1bb243a54e.png

摘要:

       人类智能具有将基本技能组合成复杂技能以解决复杂任务的非凡能力。这种能力对于人工智能 (AI) 同样重要,因此,我们断言,除了开发大型综合智能模型之外,让这些模型具备利用各种特定领域专家模型的能力同样重要在追求通用人工智能 (AGI) 过程中解决复杂的任务。大型语言模型 (LLM) 的最新发展展示了卓越的学习和推理能力,使其有望成为选择、综合和执行外部模型以解决复杂任务的控制器。在这个项目中,我们开发了 OpenAGI,这是一个开源 AGI 研究平台,专门设计用于提供复杂的多步骤任务,并附带特定于任务的数据集、评估指标和各种可扩展模型。OpenAGI 将复杂任务制定为自然语言查询,作为 LLM 的输入。LLM 随后选择、综合和执行 OpenAGI 提供的模型来解决任务。此外,我们提出了一种任务反馈强化学习(RLTF)机制,该机制使用任务解决结果作为反馈来提高 LLM 的任务解决能力。因此,LLM 负责综合各种外部模型来解决复杂的任务,而 RLTF 提供反馈以提高其任务解决能力,从而实现自我改进 AI 的反馈循环。我们认为,LLM 运行各种专家模型来解决复杂任务的范例是一种很有前途的 AGI 方法。为了便于社区对AGI能力的长期提升和评估,我们将OpenAGI项目的代码、基准测试和评估方法开源在这个https地址。

3.Inference with Reference: Lossless Acceleration of Large Language Models


634238a2c7f556efaf4f6af0782282a7.png


标题:参考推理:大型语言模型的无损加速

作者:Nan Yang, Tao Ge, Liang Wang, Binxing Jiao, Daxin Jiang, Linjun Yang, Rangan Majumder, Furu Wei

文章链接:https://arxiv.org/abs/2304.04487

4dc7e5a735f9d4e26085932f834c3250.png

4d3b6395260114331dfdb8f2687d86f0.png

3fa6fcbb50c3ab0e0eca1bce4661cc8b.png

4b85da4fbc46c023f46e1579e78628ab.png

dad4ef00434f56f411270cbcd923f9d6.png

摘要:

       我们提出了 LLMA,这是一种 LLM 加速器,可以无损地加速带有引用的大型语言模型 (LLM) 推理。LLMA 的动机是观察到在 LLM 的解码结果和许多现实世界场景(例如,检索到的文档)中可用的参考之间存在大量相同的文本跨度。LLMA 首先从参考中选择一个文本跨度并将其标记复制到解码器,然后在一个解码步骤中并行有效地检查标记作为解码结果的适当性。改进的计算并行性允许 LLMA 实现超过 2 倍的 LLM 加速,并且在许多实际生成场景中具有与贪婪解码相同的生成结果,在这些场景中上下文参考和输出之间存在显着重叠(例如,搜索引擎和多轮对话)。

目录
打赏
0
0
0
0
12
分享
相关文章
每日学术速递3.27
向多指机器人教授灵巧性一直是机器人学领域的一项长期挑战。该领域最突出的工作集中在学习控制器或策略,这些控制器或策略对视觉观察或从视觉得出的状态估计进行操作。然而,这种方法在需要对接触力或手本身遮挡的物体进行推理的细粒度操作任务上表现不佳。
156 0
每日学术速递3.27
每日学术速递3.9
最近的视觉语言模型显示出令人印象深刻的多模态生成能力。但是,通常它们需要在海量数据集上训练大型模型。作为更具可扩展性的替代方案,我们引入了 Prismer,这是一种数据和参数高效的视觉语言模型,它利用了领域专家的集合。
197 0
每日学术速递3.9
每日学术速递4.22
在本文中,我们关注在未观察到的光照条件下从神经辐射场 (NeRF) 渲染新视图的问题。为此,我们引入了一个新的数据集,称为 ReNe (Relighting NeRF),在一次一光 (OLAT) 条件下构建真实世界的对象,并用准确的地面实况相机和光姿态进行注释。
173 0
每日学术速递4.29
我们提出了一种将点云渲染为表面的新方法。所提出的方法是可区分的,不需要特定场景的优化。这种独特的功能支持开箱即用的表面法线估计、渲染房间尺度点云、逆向渲染和全局照明光线追踪。与专注于将点云转换为其他表示(例如曲面或隐式函数)的现有工作不同,我们的关键思想是直接推断光线与给定点云表示的底层表面的交点。
171 0
每日学术速递2.28
最近在机器人视觉表示学习方面的工作证明了从人类执行日常任务的大型视频数据集中学习的可行性。利用掩码自动编码和对比学习等方法,这些表示表现出向视觉运动控制的策略学习的强烈迁移。但是,机器人学习包含一系列无法控制的问题,包括掌握能力预测、语言条件模仿学习和人机协作的意图评分等。
110 0
每日学术速递5.12
用户可以付费查询的大型语言模型 (LLM) 数量迅速增加。我们审查了与查询流行的 LLM API 相关的成本,例如GPT-4、ChatGPT、J1-Jumbo,并发现这些模型具有异构的定价结构,费用可能相差两个数量级。特别是,在大量查询和文本上使用 LLM 可能会很昂贵。
160 0
每日学术速递4.20
建造一个可以通过观察人类来理解和学习互动的机器人激发了几个视觉问题。然而,尽管在静态数据集上取得了一些成功的结果,但目前的模型如何直接用在机器人上仍然不清楚。在本文中,我们旨在通过以环境为中心的方式利用人类互动视频来弥合这一差距。利用人类行为的互联网视频,我们训练了一个视觉可供性模型,该模型估计人类可能在场景中的位置和方式进行交互
159 0
每日学术速递4.13
最近基于扩散的生成器可以仅根据文本提示生成高质量的图像。但是,它们不能正确解释指定构图空间布局的指令。我们提出了一种简单的方法,无需训练或微调图像生成器即可实现稳健的布局控制。我们的技术,我们称之为布局指导,操纵模型用来连接文本和视觉信息的交叉注意层,并在给定的所需方向上引导重建
198 0
每日学术速递4.5
无论是通过从头到尾以固定分辨率处理视频,还是结合池化和缩小策略,现有的视频转换器都可以处理整个网络中的整个视频内容,而无需专门处理大部分冗余信息。在本文中,我们提出了一种 Supertoken Video Transformer (SVT),它结合了语义池模块 (SPM),根据视觉转换器的语义沿着视觉转换器的深度聚合潜在表示,从而减少视频输入中固有的冗余。
152 0
每日学术速递2.23
本文探讨了动态系统中的离散形态对称性,这是生物学和机器人系统的主要特征。当系统的形态具有一个或多个对称平面时,它表现出形态对称性,描述了身体部位的重复和平衡分布。这些形态对称性意味着系统的动力学是对称的(或近似对称的),这进而在最优控制策略和所有与系统动态演化相关的本体感知和外感知测量中印记了对称性。
110 0
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等