CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理
Subjects: cs.CV
1.ImageBind: Holistic AI learning across six modalities
标题：ImageBind：跨六种模式的整体人工智能学习
作者：Mengyuan Yan Jessica Lin Montserrat Gonzalez Arenas Ted Xiao Daniel Kappler Daniel Ho
文章链接：https://dl.fbaipublicfiles.com/imagebind/imagebind_final.pdf
项目代码：https://github.com/facebookresearch/ImageBind
摘要：
当人类从世界吸收信息时，我们天生会使用多种感官，例如看到繁忙的街道和听到汽车引擎的声音。今天，我们推出了一种方法，使机器更接近人类同时、整体和直接从许多不同形式的信息中学习的能力——不需要明确的监督（组织和标记原始数据的过程）。我们已经构建并正在开源 ImageBind，这是第一个能够绑定来自六种模式的信息的人工智能模型。该模型学习单个嵌入或共享表示空间，不仅适用于文本、图像/视频和音频，还适用于记录深度 (3D)、热（红外辐射）和惯性测量单元 (IMU) 的传感器，这计算运动和位置。ImageBind 使机器具备全面的理解力，将照片中的对象与它们的声音、3D 形状、它们的冷暖程度以及它们的移动方式联系起来。如我们的论文所述，ImageBind 可以胜过针对一种特定模态单独训练的先前专家模型。但最重要的是，它通过使机器能够更好地分析多种不同形式的信息来帮助推进人工智能。例如，使用 ImageBind，Meta 的 Make-A-Scene 可以从音频创建图像，例如根据雨林或熙熙攘攘的市场的声音创建图像。其他未来的可能性包括以更准确的方式识别、连接和调节内容，以及促进创意设计，例如更无缝地生成更丰富的媒体和创建更广泛的多模式搜索功能。ImageBind 是 Meta 致力于创建多模态 AI 系统的一部分，该系统可以从周围所有可能类型的数据中学习。随着模态数量的增加，ImageBind 为研究人员打开了尝试开发新的整体系统的闸门，例如结合 3D 和 IMU 传感器来设计或体验身临其境的虚拟世界。ImageBind 还可以提供一种探索记忆的丰富方式——使用文本、音频和图像的组合来搜索图片、视频、音频文件或文本消息。
2.HumanRF: High-Fidelity Neural Radiance Fields for Humans in Motion
标题：HumanRF：运动中人体的高保真神经辐射场
作者：Mustafa Işık, Martin Rünz, Markos Georgopoulos, Taras Khakhulin, Jonathan Starck, Lourdes Agapito, Matthias Nießner
文章链接：https://arxiv.org/abs/2305.06356
项目代码：https://synthesiaresearch.github.io/humanrf/
摘要：
以高保真度表现人类表现是电影制作、电脑游戏或视频会议等各种应用的重要组成部分。为了缩小与生产级质量的差距，我们引入了 HumanRF，这是一种 4D 动态神经场景表示，可从多视图视频输入中捕捉运动中的全身外观，并能够从新颖的、看不见的视点进行回放。我们的新颖表示充当动态视频编码，通过将时空分解为时间矩阵向量分解来以高压缩率捕获精细细节。这使我们能够为长序列获得人类演员的时间相干重建，同时即使在具有挑战性的运动的背景下也能呈现高分辨率细节。虽然大多数研究都集中在 4MP 或更低分辨率的合成上，但我们解决了在 12MP 下运行的挑战。为此，我们介绍了 ActorsHQ，这是一种新颖的多视图数据集，它提供来自 160 个摄像机的 12MP 镜头，用于 16 个序列，具有高保真度、每帧网格重建。我们展示了使用此类高分辨率数据所带来的挑战，并表明我们新推出的 HumanRF 有效地利用了这些数据，朝着生产级质量的新颖视图合成迈出了重要一步。
3.FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance
标题：FrugalGPT：如何在降低成本和提高性能的同时使用大型语言模型
作者：Lingjiao Chen, Matei Zaharia, James Zou
文章链接：https://arxiv.org/abs/2305.05176
摘要：
用户可以付费查询的大型语言模型 (LLM) 数量迅速增加。我们审查了与查询流行的 LLM API 相关的成本，例如GPT-4、ChatGPT、J1-Jumbo，并发现这些模型具有异构的定价结构，费用可能相差两个数量级。特别是，在大量查询和文本上使用 LLM 可能会很昂贵。受此启发，我们概述并讨论了三种类型的策略，用户可以利用这些策略来降低与使用 LLM 相关的推理成本：1) 提示适应，2) LLM 近似，以及 3) LLM 级联。例如，我们提出了 FrugalGPT，这是一种简单而灵活的 LLM 级联实例，它学习将哪些 LLM 组合用于不同的查询，以降低成本并提高准确性。我们的实验表明，FrugalGPT 可以与最好的单个 LLM（例如 GPT-4）的性能相媲美，成本降低高达 98%，或者在成本相同的情况下比 GPT-4 的准确度提高 4%。这里提出的想法和发现为可持续和高效地使用 LLM 奠定了基础。
