AiCharm_社区达人页

2023年05月

• 05.15 16:39:44
  发表了文章 2023-05-15 16:39:44

  CVPR 2023 点云系列 | Point-NN无需训练的非参数、即插即用网络

  点云三维数据处理是自动驾驶，场景理解和机器人中的基本操作。点云包含无序点，离散描述三维空间中的物体表面。与基于网格的2D图像不同，它们是分布不规则和排列不变的，这导致了算法设计方面的非常规挑战。
• 05.15 16:34:51
  发表了文章 2023-05-15 16:34:51

  深度学习实战（二）：AlexNet实现花图像分类

  原论文中用的双GPU，我的电脑只有一块GPU，代码只使用了一半的网络参数，相当于只用了原论文中网络结构的下半部分，但是如果使用完整网络跑一遍，发现一半参数跟完整参数的训练结果精度相差无几。
• 05.15 16:28:09
  发表了文章 2023-05-15 16:28:09

  每日学术速递5.12

  用户可以付费查询的大型语言模型 (LLM) 数量迅速增加。我们审查了与查询流行的 LLM API 相关的成本，例如GPT-4、ChatGPT、J1-Jumbo，并发现这些模型具有异构的定价结构，费用可能相差两个数量级。特别是，在大量查询和文本上使用 LLM 可能会很昂贵。
• 05.15 16:26:14
  发表了文章 2023-05-15 16:26:14

  每日学术速递5.11

  网页一直是视觉语言和纯语言任务的丰富、可扩展的资源。然而，只有网页的一部分被保留：图像标题对、长文本文章或原始 HTML，永远不会全部放在一个地方。
• 05.15 16:24:28
  发表了文章 2023-05-15 16:24:28

  每日学术速递5.10

  由于对各种可能的自然语言问题进行概括的挑战，基于知识库的问答被认为是一个难题。此外，不同知识库之间知识库模式项的异质性通常需要对不同知识库问答 (KBQA) 数据集进行专门培训。为了使用统一的免训练框架处理各种 KBQA 数据集的问题，我们提出了 KB-BINDER，它首次实现了对 KBQA 任务的少样本上下文学习
• 05.15 16:22:33
  发表了文章 2023-05-15 16:22:33

  每日学术速递5.9

  目标跟踪的大多数先前进展是在具有良好照明的白天场景中实现的。迄今为止，最先进的技术很难在夜间发挥其优势，从而大大阻碍了与视觉跟踪相关的无人机 (UAV) 应用的扩展
• 05.15 16:20:52
  发表了文章 2023-05-15 16:20:52

  每日学术速递5.8

  最近的 AI 助理代理，例如 ChatGPT，主要依靠带有人工注释的监督微调 (SFT) 和来自人类反馈的强化学习 (RLHF) 来使大型语言模型 (LLM) 的输出与人类意图保持一致，确保它们是乐于助人、合乎道德且可靠。然而，由于获得人工监督的高成本以及质量、可靠性、多样性、自我一致性和不良偏见等相关问题
• 05.15 16:18:48
  发表了文章 2023-05-15 16:18:48

  每日学术速递5.7

  我们考虑重建从立体相机观察到的动态场景的问题。大多数现有的立体深度方法独立处理不同的立体帧，导致时间上不一致的深度预测。时间一致性对于身临其境的 AR 或 VR 场景尤为重要，在这些场景中，闪烁会大大降低用户体验。我们提出了 DynamicStereo，这是一种基于变换器的新型架构，用于估计立体视频的视差。
• 05.15 16:16:32
  发表了文章 2023-05-15 16:16:32

  每日学术速递5.6

  大型语言模型的最新进展引发了思维链中的推理，使模型能够以类似人类的方式分解问题。虽然这种范式提高了语言模型中的多步推理能力，但它受到单峰性的限制，主要应用于问答任务
• 05.15 16:14:47
  发表了文章 2023-05-15 16:14:47

  每日学术速递5.5

  我们介绍了多尺度多视图视觉变换器 (MMViT)，它将多尺度特征图和多视图编码引入到变换器模型中。我们的模型对输入信号的不同视图进行编码，并构建多个通道分辨率特征阶段
• 05.15 16:12:46
  发表了文章 2023-05-15 16:12:46

  每日学术速递5.4

  尽管越来越多地采用混合现实和交互式 AI 代理，但这些系统在看不见的环境中生成高质量的 2D/3D 场景仍然具有挑战性。通常的做法需要部署一个 AI 代理来收集大量数据，以便为每个新任务进行模型训练。对于许多领域来说，这个过程是昂贵的，甚至是不可能的。
• 05.15 16:10:43
  发表了文章 2023-05-15 16:10:43

  每日学术速递5.2

  现有的深度视频模型受限于特定任务、固定的输入输出空间和较差的泛化能力，难以在真实场景中部署。在本文中，我们提出了我们对多模态和多功能视频理解的愿景，并提出了一个原型系统 \system
• 05.15 16:08:26
  发表了文章 2023-05-15 16:08:26

  每日学术速递5.3

  用任意语音音频生成说话人肖像是数字人和虚拟世界领域的一个关键问题。一种现代的说话人脸生成方法有望实现通用的音频-嘴唇同步、良好的视频质量和高系统效率的目标。
• 05.15 16:06:15
  发表了文章 2023-05-15 16:06:15

  每日学术速递5.1

  大型语言模型 (LLM) 在各种开放式任务中展示了令人印象深刻的零样本能力，而最近的研究还探索了使用 LLM 进行多模态生成。
• 05.15 16:04:23
  发表了文章 2023-05-15 16:04:23

  每日学术速递4.30

  具有指令微调的大型语言模型 (LLM) 展示了卓越的生成能力。然而，这些模型是资源密集型的。为了缓解这个问题，我们探索从指令调整的 LLM 中提炼知识到更小的 LLM。为此，我们基于现有指令和新生成的指令精心开发了大量 2.58M 指令集。
• 05.15 16:02:18
  发表了文章 2023-05-15 16:02:18

  每日学术速递4.29

  我们提出了一种将点云渲染为表面的新方法。所提出的方法是可区分的，不需要特定场景的优化。这种独特的功能支持开箱即用的表面法线估计、渲染房间尺度点云、逆向渲染和全局照明光线追踪。与专注于将点云转换为其他表示（例如曲面或隐式函数）的现有工作不同，我们的关键思想是直接推断光线与给定点云表示的底层表面的交点。
• 05.15 16:00:04
  发表了文章 2023-05-15 16:00:04

  每日学术速递4.28

  神经辐射场 (NeRF) 在 3D 场景建模和合成高保真新颖视图方面取得了显著成功。然而，现有的基于 NeRF 的方法更侧重于充分利用图像分辨率来生成新颖的视图，而较少考虑在有限的输入分辨率下生成细节。类似于图像超分辨率的广泛使用
• 05.15 15:57:44
  发表了文章 2023-05-15 15:57:44

  每日学术速递4.27

  我们研究如何使用 Transformers 构建和训练用于机器人决策的空间表示。特别是，对于在各种环境中运行的机器人，我们必须能够快速训练或微调机器人感觉运动策略，这些策略对杂波具有鲁棒性、数据效率高，并且可以很好地泛化到不同的环境。
• 05.15 15:55:22
  发表了文章 2023-05-15 15:55:22

  每日学术速递4.26

  我们介绍了 CLaMP：对比语言-音乐预训练，它使用音乐编码器和文本编码器通过对比损失联合训练来学习自然语言和符号音乐之间的跨模态表示。为了预训练 CLaMP，我们收集了 140 万个音乐文本对的大型数据集。它采用文本丢失作为数据增强技术和条形修补来有效地表示音乐数据，从而将序列长度减少到不到 10%。此外，我们开发了一个掩码音乐模型预训练目标，以增强音乐编码器对音乐背景和结构的理解。
• 05.15 15:53:00
  发表了文章 2023-05-15 15:53:00

  每日学术速递4.25

  场景理解的一个长期目标是获得可解释和可编辑的表示，这些表示可以直接从原始单目 RGB-D 视频构建，而不需要专门的硬件设置或先验。在存在多个移动和/或变形物体的情况下，该问题更具挑战性。传统方法通过混合简化、场景先验、预训练模板或已知变形模型来处理设置。
• 05.15 15:50:40
  发表了文章 2023-05-15 15:50:40

  每日学术速递4.24

  自然界充满了复杂的系统，其特征是其组成部分之间存在错综复杂的关系：从社交网络中个体之间的社交互动到蛋白质中原子之间的静电相互作用。拓扑深度学习 (TDL) 提供了一个综合框架来处理与这些系统相关的数据并从中提取知识，例如预测个人所属的社会社区或预测蛋白质是否可以成为药物开发的合理目标。
• 05.15 15:48:13
  发表了文章 2023-05-15 15:48:13

  每日学术速递4.23

  神经辐射场 (NeRF) 能够以前所未有的视觉质量实现新颖的视图合成。然而，为了渲染逼真的图像，NeRF 需要对每个像素进行数百次深度多层感知器 (MLP) 评估。这是非常昂贵的，并且使实时渲染变得不可行，即使在强大的现代 GPU 上也是如此。
• 05.15 15:46:25
  发表了文章 2023-05-15 15:46:25

  每日学术速递4.22

  在本文中，我们关注在未观察到的光照条件下从神经辐射场 (NeRF) 渲染新视图的问题。为此，我们引入了一个新的数据集，称为 ReNe (Relighting NeRF)，在一次一光 (OLAT) 条件下构建真实世界的对象，并用准确的地面实况相机和光姿态进行注释。
• 05.15 15:44:29
  发表了文章 2023-05-15 15:44:29

  每日学术速递4.21

  大型语言模型（LLM）在各种具有涌现能力的自然语言处理任务中取得了显着进步。然而，他们面临着固有的局限性，例如无法访问最新信息、无法使用外部工具或进行精确的数学推理。在本文中，我们介绍了 Chameleon，这是一种即插即用的组合推理框架，可增强 LLM 以帮助应对这些挑战。
• 05.15 15:42:12
  发表了文章 2023-05-15 15:42:12

  每日学术速递4.20

  建造一个可以通过观察人类来理解和学习互动的机器人激发了几个视觉问题。然而，尽管在静态数据集上取得了一些成功的结果，但目前的模型如何直接用在机器人上仍然不清楚。在本文中，我们旨在通过以环境为中心的方式利用人类互动视频来弥合这一差距。利用人类行为的互联网视频，我们训练了一个视觉可供性模型，该模型估计人类可能在场景中的位置和方式进行交互
• 05.15 15:39:54
  发表了文章 2023-05-15 15:39:54

  每日学术速递4.19

  最近，基于端到端变压器的检测器 (DETR) 取得了显着的性能。然而，DETRs 的高计算成本问题尚未得到有效解决，限制了它们的实际应用并阻止它们充分利用无后处理的好处，例如非最大抑制 (NMS)。在本文中，我们首先分析了现代实时目标检测器中 NMS 对推理速度的影响，并建立了端到端速度基准
• 05.15 15:37:50
  发表了文章 2023-05-15 15:37:50

  每日学术速递4.18

  我们介绍了 Delta Denoising Score (DDS)，这是一种用于基于文本的图像编辑的新颖评分函数，可引导对输入图像进行最小程度的修改以实现目标提示中描述的内容。DDS 利用文本到图像扩散模型的丰富生成先验，可用作优化问题中的损失项，以将图像引导至文本指示的所需方向。DDS 利用分数蒸馏采样 (SDS) 机制来进行图像编辑。我们表明，仅使用 SDS 通常会由于嘈杂的梯度而产生不详细和模糊的输出。
• 05.15 15:35:50
  发表了文章 2023-05-15 15:35:50

  每日学术速递4.17

  扩散模型已被证明在生成高质量图像方面非常有效。然而，使大型预训练扩散模型适应新领域仍然是一个开放的挑战，这对于实际应用至关重要。本文提出了 DiffFit，这是一种参数高效策略，用于微调大型预训练扩散模型，从而能够快速适应新领域。DiffFit 非常简单，仅微调特定层中的偏差项和新添加的缩放因子
• 05.15 15:33:54
  发表了文章 2023-05-15 15:33:54

  每日学术速递4.16

  我们提出了 RECLIP（资源高效 CLIP），这是一种最小化 CLIP（对比语言图像预训练）计算资源占用的简单方法。受计算机视觉中从粗到精概念的启发，我们利用小图像有效地从大规模语言监督中学习，并最终使用高分辨率数据微调模型。由于视觉转换器的复杂性在很大程度上取决于输入图像的大小
• 05.15 15:31:52
  发表了文章 2023-05-15 15:31:52

  每日学术速递4.15

  大规模视觉语言模型（例如 CLIP）学习强大的图像文本表示，这些表示已找到许多应用程序，从零镜头分类到文本到图像生成。尽管如此，它们通过提示解决新的判别任务的能力仍落后于大型语言模型，例如 GPT-3。在这里，我们探索视觉提示工程的想法，通过在图像空间而不是文本中进行编辑来解决分类以外的计算机视觉任务。
• 05.15 15:29:54
  发表了文章 2023-05-15 15:29:54

  每日学术速递4.14

  我们提出了 ImageReward——第一个通用的文本到图像人类偏好奖励模型——来解决生成模型中的各种普遍问题，并使它们与人类价值观和偏好保持一致。它的训练基于我们的系统注释管道，涵盖评级和排名组件，收集了迄今为止 137k 专家比较的数据集。
• 05.15 15:27:34
  发表了文章 2023-05-15 15:27:34

  每日学术速递4.13

  最近基于扩散的生成器可以仅根据文本提示生成高质量的图像。但是，它们不能正确解释指定构图空间布局的指令。我们提出了一种简单的方法，无需训练或微调图像生成器即可实现稳健的布局控制。我们的技术，我们称之为布局指导，操纵模型用来连接文本和视觉信息的交叉注意层，并在给定的所需方向上引导重建
• 05.15 15:24:49
  发表了文章 2023-05-15 15:24:49

  每日学术速递4.12

  我们提出了 LLMA，这是一种 LLM 加速器，可以无损地加速带有引用的大型语言模型 (LLM) 推理。LLMA 的动机是观察到在 LLM 的解码结果和许多现实世界场景（例如，检索到的文档）中可用的参考之间存在大量相同的文本跨度。LLMA 首先从参考中选择一个文本跨度并将其标记复制到解码器
• 05.15 15:22:17
  发表了文章 2023-05-15 15:22:17

  每日学术速递4.11

  最近关于从姿势图像进行 3D 重建的工作表明，使用深度神经网络直接推断场景级 3D 几何结构而无需迭代优化是可行的，显示出非凡的前景和高效率。
• 05.15 15:20:10
  发表了文章 2023-05-15 15:20:10

  每日学术速递4.10

  雨雪天气去除是天气退化图像恢复中的一项专门任务，旨在消除共存的雨条纹和雪颗粒。在本文中，我们提出了 RSFormer，这是一种高效且有效的 Transformer，可以应对这一挑战。最初，我们探索了层次结构中卷积网络 (ConvNets) 和视觉变换器 (ViTs) 的接近程度，并通过实验发现它们在阶段内特征学习中的表现大致相同。
• 05.15 15:18:17
  发表了文章 2023-05-15 15:18:17

  卷，卷，卷，SAM发布不到24h | BAAI、浙大、北大联合推出SegGPT

  在这项工作中，我们提出了一种通用的分割模型，展示了如何设计适当的训练策略，充分利用上下文视觉学习的灵活性。我们的模型表现出了处理领域内外分割任务的强大能力，包括对象实例、物体、部分、轮廓、文本分割等。然而，我们的工作也存在缺点。虽然我们的工作引入了一种新的随机着色机制
• 05.15 15:16:09
  发表了文章 2023-05-15 15:16:09

  每日学术速递4.9

  错误信息已成为一个紧迫的问题。网络上广泛存在视觉和文本形式的虚假媒体。虽然已经提出了各种 deepfake 检测和文本假新闻检测方法，但它们仅设计用于基于二进制分类的单模态伪造，更不用说分析和推理跨不同模态的细微伪造痕迹。
• 05.15 15:13:50
  发表了文章 2023-05-15 15:13:50

  Meta发布分割大模型[Segment Anything]CV的GPT时刻来临？

  在计算机视觉中，图像分割是一项核心任务，但为特定任务创建准确的分割模型通常需要技术专家进行高度专业化的工作，并且需要大量的领域标注数据。这些因素限制了图像分割的进一步发展。
• 05.15 15:08:30
  发表了文章 2023-05-15 15:08:30

  每日学术速递4.7

  我们引入了一种新颖的框架，可以毫不费力地训练深度立体网络，无需任何基本事实。通过利用最先进的神经渲染解决方案，我们从使用单个手持相机收集的图像序列生成立体训练数据。
• 05.15 15:06:25
  发表了文章 2023-05-15 15:06:25

  每日学术速递4.6

  大型语言模型 (LLM)（如 GPT-3 和 ChatGPT）的成功导致开发了许多具有成本效益且易于访问的替代方案，这些替代方案是通过使用特定于任务的数据（例如，ChatDoctor）微调开放访问 LLM 创建的) 或指令数据（例如，Alpaca）。在各种微调方法中，基于适配器的参数高效微调（PEFT）无疑是最吸引人的话题之一
• 05.15 15:04:37
  发表了文章 2023-05-15 15:04:37

  每日学术速递4.4

  我们对 Embodied AI 的预训练视觉表示 (PVR) 或视觉“基础模型”进行了最大、最全面的实证研究。首先，我们策划了 CortexBench，它由 17 项不同的任务组成，涵盖运动、导航、灵巧和移动操作。接下来，我们系统地评估现有的 PVR，发现没有一个具有普遍优势。为了研究预训练数据规模和多样性的影响
• 05.15 15:02:18
  发表了文章 2023-05-15 15:02:18

  每日学术速递4.5

  无论是通过从头到尾以固定分辨率处理视频，还是结合池化和缩小策略，现有的视频转换器都可以处理整个网络中的整个视频内容，而无需专门处理大部分冗余信息。在本文中，我们提出了一种 Supertoken Video Transformer (SVT)，它结合了语义池模块 (SPM)，根据视觉转换器的语义沿着视觉转换器的深度聚合潜在表示，从而减少视频输入中固有的冗余。
• 05.15 15:00:09
  发表了文章 2023-05-15 15:00:09

  每日学术速递4.3

  最近在语言引导图像生成领域取得的突破取得了令人瞩目的成就，能够根据用户指令创建高质量和多样化的图像。尽管合成性能令人着迷，但当前图像生成模型的一个重大限制是它们在图像中生成连贯文本的能力不足，特别是对于像汉字这样的复杂字形结构。为了解决这个问题，我们引入了 GlyphDraw，这是一个通用的学习框架，旨在赋予图像生成模型生成嵌入连贯文本的图像的能力。据我们所知，这是图像合成领域第一个解决汉字生成问题的工作。

  
• 05.15 14:58:16
  发表了文章 2023-05-15 14:58:16

  每日学术速递4.2

  传统上，视频理解任务由两个独立的架构建模，专门为两个不同的任务量身定制。基于序列的视频任务，如动作识别，使用视频主干直接提取时空特征，而基于帧的视频任务，如多目标跟踪 (MOT)，依赖单个固定图像主干提取空间特征。相比之下，我们建议将视频理解任务统一到一种新颖的流式视频架构中，称为流式视觉转换器 (S-ViT)。 S-ViT 首先使用支持内存的时间感知空间编码器生成帧级特征，以服务于基于帧的视频任务。
• 05.15 14:56:31
  发表了文章 2023-05-15 14:56:31

  每日学术速递4.1

  本文介绍了一种名为 F²-NeRF (Fast-Free-NeRF) 的新型基于网格的 NeRF，用于新型视图合成，它支持任意输入摄像机轨迹，并且只需几分钟的训练时间。现有的基于网格的快速 NeRF 训练框架，如 Instant-NGP、Plenoxels、DVGO 或 TensoRF，主要针对有界场景设计，并依靠空间扭曲来处理无界场景。现有的两种广泛使用的空间扭曲方法仅针对前向轨迹或 360 度以对象为中心的轨迹而设计，无法处理任意轨迹。
• 05.15 14:54:37
  发表了文章 2023-05-15 14:54:37

  每日学术速递3.31

  我们提出了 LLaMA-Adapter，这是一种轻量级自适应方法，可以有效地将 LLaMA 微调为指令跟随模型。使用 52K 自我指导演示，LLaMA-Adapter 仅在冻结的 LLaMA 7B 模型上引入 1.2M 可学习参数，并且在 8 个 A100 GPU 上进行微调的成本不到一小时。
• 05.15 14:52:47
  发表了文章 2023-05-15 14:52:47

  每日学术速递3.29

  由于模型容量有限，纯基于 MLP 的神经辐射场（基于 NeRF 的方法）在大型场景上经常会出现渲染模糊的欠拟合问题。最近的方法提出在地理上划分场景并采用多个子 NeRF 分别对每个区域进行建模，从而导致训练成本和子 NeRF 的数量随着场景的扩展而线性增加。
• 05.15 14:50:13
  发表了文章 2023-05-15 14:50:13

  每日学术速递3.29

  在这项工作中，我们介绍了 CC3D，这是一种条件生成模型，它合成以 2D 语义场景布局为条件的复杂 3D 场景，使用单视图图像进行训练。与将适用性限制在对齐的单个对象的大多数现有 3D GAN 不同，我们专注于通过对 3D 场景的组合性质进行建模来生成具有多个对象的复杂场景。
• 05.15 14:47:30
  发表了文章 2023-05-15 14:47:30

  每日学术速递3.27

  向多指机器人教授灵巧性一直是机器人学领域的一项长期挑战。该领域最突出的工作集中在学习控制器或策略，这些控制器或策略对视觉观察或从视觉得出的状态估计进行操作。然而，这种方法在需要对接触力或手本身遮挡的物体进行推理的细粒度操作任务上表现不佳。

  
• 05.15 14:45:37
  发表了文章 2023-05-15 14:45:37

  每日学术速递3.23

  我们介绍了 Zero-1-to-3，这是一个框架，用于在给定单个 RGB 图像的情况下更改对象的相机视点。为了在这种欠约束的环境中执行新的视图合成，我们利用了大规模扩散模型了解自然图像的几何先验。我们的条件扩散模型使用合成数据集来学习相对相机视点的控制，这允许在指定的相机变换下生成同一对象的新图像。