AiCharm_社区达人页

2023年05月

• 05.15 14:43:37
  发表了文章 2023-05-15 14:43:37

  每日学术速递3.22

  我们介绍了一种新颖的方法，通过对一种或多种字母字体进行风格化来自动生成艺术排版，以直观地传达输入词的语义，同时确保输出保持可读性。为了解决我们手头任务的各种挑战，包括相互冲突的目标（艺术风格化与易读性）、缺乏基本事实和巨大的搜索空间，我们的方法利用大型语言模型来桥接文本和视觉图像以进行风格化，并建立一个无监督的具有扩散模型骨干的生成模型。
• 05.15 14:41:50
  发表了文章 2023-05-15 14:41:50

  每日学术速递3.21

  随着神经辐射场 (NeRFs) 的引入，新颖的视图合成最近取得了巨大飞跃。NeRF 的核心是提出每个 3D 点都可以发出辐射，从而允许使用可区分的体积渲染进行视图合成。虽然神经辐射场可以准确地表示用于计算图像渲染的 3D 场景，但 3D 网格仍然是大多数计算机图形和模拟管道支持的主要场景表示，支持实时渲染和基于物理的模拟等任务。
• 05.15 14:40:03
  发表了文章 2023-05-15 14:40:03

  每日学术速递3.20

  大型语言模型 (LLM) 可以通过生成中间思维链 (CoT) 推理步骤在少镜头和零镜头设置中执行复杂推理。此外，每个推理步骤都可以依赖外部工具来支持超出核心 LLM 功能（例如搜索/运行代码）的计算。之前关于 CoT 提示和工具使用的工作通常需要手工制作特定于任务的演示，并仔细编写模型生成与工具使用的交错脚本。

  
• 05.15 14:38:07
  发表了文章 2023-05-15 14:38:07

  AI_Papers周刊：第六期

  大型语言模型 (LLM) 因其令人印象深刻的能力而广受欢迎，但对特定于模型的微调或特定于任务的提示工程的需求可能会阻碍它们的泛化。我们提出了 UPRISE（用于改进零样本评估的通用提示检索），它调整了一个轻量级且多功能的检索器，该检索器可以自动检索给定零样本任务输入的提示。
• 05.15 14:33:13
  发表了文章 2023-05-15 14:33:13

  AI_News周刊：第六期

  3月16日下午，文心一言发布会在百度科技园举行。百度创始人李彦宏介绍，百度在过去十几年间一直在AI研发上持续投入，文心大模型的第一个版本在2019年就发布了，此后每一年都要发布一个新的版本。“全球大厂中百度是第一个发布的”，李彦宏坦承，这段时间不断有人问他为什么现在发布文心一言，百度是否真的准备好了
• 05.15 14:29:04
  发表了文章 2023-05-15 14:29:04

  每日学术速递3.17

  怪异、不寻常和离奇的图像激起观察者的好奇心，因为它们挑战常识。例如，在 2022 年世界杯期间发布的一张图片描绘了著名足球明星莱昂内尔·梅西和克里斯蒂亚诺·罗纳尔多下棋，这调皮地违反了我们对他们的比赛应该在足球场上进行的预期。人类可以轻松识别和解读这些非常规图像，但 AI 模型也能做到吗？我们介绍了 WHOOPS!，这是一个新的视觉常识数据集和基准。
• 05.15 14:27:10
  发表了文章 2023-05-15 14:27:10

  每日学术速递3.16

  本文提出了一个统一的扩散框架（称为 UniDiffuser），以在一个模型中拟合与一组多模态数据相关的所有分布。我们的关键见解是——学习边缘分布、条件分布和联合分布的扩散模型可以统一为预测扰动数据中的噪声，其中扰动水平（即时间步长）对于不同的模式可能不同。
• 05.15 14:25:10
  发表了文章 2023-05-15 14:25:10

  每日学术速递3.15

  数据驱动是深度学习算法最具标志性的特性之一。ImageNet 的诞生推动了计算机视觉“从大规模数据中学习”的显着趋势。在 ImageNet 上进行预训练以获得丰富的通用表征已被证明有利于各种 2D 视觉任务，并成为 2D 视觉的标准。
• 05.15 14:22:39
  发表了文章 2023-05-15 14:22:39

  每日学术速递3.14

  Vision Transformers 通过将图像切片成补丁来将图像转换为序列。这些补丁的大小控制着速度/准确性的权衡，较小的补丁会以更高的计算成本导致更高的准确性，但更改补丁大小通常需要重新训练模型。在本文中，我们证明了在训练时简单地随机化补丁大小会导致一组权重在广泛的补丁大小范围内表现良好，从而可以在部署时根据不同的计算预算定制模型。
• 05.15 14:20:50
  发表了文章 2023-05-15 14:20:50

  每日学术速递3.13

  现有的视频系统识别方法（估计物体的物理参数）假设已知物体的几何形状。这排除了它们在对象几何形状复杂或未知的绝大多数场景中的适用性。在这项工作中，我们的目标是从一组多视图视频中识别表征物理系统的参数，而无需对对象几何或拓扑进行任何假设。为此，我们提出了“物理增强连续体神经辐射场”(PAC-NeRF)
• 05.15 14:18:55
  发表了文章 2023-05-15 14:18:55

  AI_Papers周刊：第五期

  我们研究了语言模型中的上下文学习 (ICL) 如何受到语义先验与输入标签映射的影响。我们研究了两种设置——带有翻转标签的 ICL 和带有语义无关标签的 ICL——跨越各种模型系列（GPT-3、InstructGPT、Codex、PaLM 和 Flan-PaLM）。
• 05.15 14:14:05
  发表了文章 2023-05-15 14:14:05

  AI_News周刊：第五期

  OpenAI 以比预期低得多的价格发布了 ChatGPT 和 Whisper API，部分原因是为了响应开源 LLM 和竞争对手模型的进步。ChatGPT 可通过 GPT-Turbo 以每 1k 代币 0.002 美元的价格获得，比其达芬奇模型便宜 10 倍（9 月份其价格降低了 3 倍）并且与 OpenAI 较小的居里模型的定价一致（居里估计为7-100 亿个参数对比达芬奇的 1750 亿个参数）。
• 05.15 14:11:06
  发表了文章 2023-05-15 14:11:06

  每日学术速递3.10

  本文介绍了扩散策略，这是一种通过将机器人的视觉运动策略表示为条件去噪扩散过程来生成机器人行为的新方法。我们对来自 4 个不同机器人操作基准的 11 个不同任务的扩散策略进行基准测试，发现它始终优于现有的最先进的机器人学习方法，平均提高 46.9%。扩散策略学习动作分布得分函数的梯度，并在推理过程中通过一系列随机朗之万动力学步骤针对该梯度场进行迭代优化。
• 05.15 14:09:05
  发表了文章 2023-05-15 14:09:05

  每日学术速递3.9

  最近的视觉语言模型显示出令人印象深刻的多模态生成能力。但是，通常它们需要在海量数据集上训练大型模型。作为更具可扩展性的替代方案，我们引入了 Prismer，这是一种数据和参数高效的视觉语言模型，它利用了领域专家的集合。

  
• 05.15 14:06:49
  发表了文章 2023-05-15 14:06:49

  每日学术速递3.8

  扩散模型（DM）已成为生成模型的新趋势，并展示了强大的条件合成能力。其中，在大规模图像文本对上预训练的文本到图像扩散模型可通过可定制的提示高度控制。与专注于低级属性和细节的无条件生成模型不同，由于视觉语言预训练，文本到图像扩散模型包含更多高级知识。在本文中，我们提出了 VPD（具有预训练扩散模型的视觉感知），这是一种在视觉感知任务中利用预训练文本到图像扩散模型的语义信息的新框架。我们没有在基于扩散的管道中使用预训练的去噪自动编码器，而是简单地将其用作主干，旨在研究如何充分利用所学知识。
• 05.15 14:04:48
  发表了文章 2023-05-15 14:04:48

  每日学术速递3.7

  由 Hinton 等人介绍。2012 年，dropout 作为防止神经网络过度拟合的正则化项经受住了时间的考验。在这项研究中，我们证明了在训练开始时使用 dropout 也可以减轻欠拟合。在早期阶段，我们发现 dropout 减少了小批量梯度的方向方差，并有助于将小批量梯度与整个数据集的梯度对齐。这有助于抵消 SGD 的随机性并限制个别批次对模型训练的影响。
• 05.15 14:02:59
  发表了文章 2023-05-15 14:02:59

  每日学术速递3.6

  本文描述了一种使用与目标数据集不一定相关的多个源数据集进行语义分割的域自适应训练方法。我们通过整合来自多个源模型的预测对象概率，提出了一种软伪标签生成方法。每个源模型的预测基于源数据集和目标数据集之间的估计域相似性进行加权，以强调在与目标更相似的源上训练的模型的贡献，并生成合理的伪标签。
• 05.15 14:01:01
  发表了文章 2023-05-15 14:01:01

  AI_Papers周刊：第四期

  语言、多模式感知、动作和世界建模的大融合是通向通用人工智能的关键一步。在这项工作中，我们介绍了 Kosmos-1，这是一种多模态大型语言模型 (MLLM)，它可以感知一般模态、在上下文中学习（即少镜头）并遵循指令（即零镜头）。
• 05.15 13:55:45
  发表了文章 2023-05-15 13:55:45

  AI_News周刊：第四期

  据两位直接了解这项工作的人士和另一位了解情况的人士透露，埃隆·马斯克最近几周与人工智能研究人员接洽，商讨成立一个新的研究实验室，以开发 ChatGPT 的替代品，ChatGPT 是初创公司 OpenAI 开发的备受瞩目的聊天机器人。
• 05.15 13:53:06
  发表了文章 2023-05-15 13:53:06

  每日学术速递3.3

  评估面部图像的质量对于以足够的准确性操作面部识别系统至关重要。人脸质量标准化的最新进展 (ISO/IEC WD 29794-5) 建议使用组件质量测量方法将人脸质量分解为各个因素，从而为操作员重新捕获低质量图像提供有价值的反馈。
• 05.15 13:51:20
  发表了文章 2023-05-15 13:51:20

  每日学术速递3.1

  文本引导的扩散模型，如 DALLE-2、IMAGEN 和 Stable Diffusion，只要给出描述所需图像内容的简短文本提示，就能够有效地生成无穷无尽的图像。在许多情况下，图像的质量也非常高。然而，这些模型通常难以组合包含多个关键对象的场景，例如具有指定位置关系的角色。
• 05.15 13:49:23
  发表了文章 2023-05-15 13:49:23

  每日学术速递3.2

  基于点击的交互式分割（IS）旨在提取用户交互下的目标对象。对于这项任务，当前大多数基于深度学习 (DL) 的方法主要遵循语义分割的一般流程。尽管取得了令人鼓舞的性能，但它们并没有完全明确地利用和传播点击信息，不可避免地导致不令人满意的分割结果，即使在点击点也是如此。
• 05.15 13:47:14
  发表了文章 2023-05-15 13:47:14

  2022年AI顶级论文 —生成模型之年（下）

  2020年，随着OpenAI GPT-3模型（模型参数约1750亿）的问世，在众多自然语言处理任务中，人工智能均表现出超过人类平均水平的能力。
• 05.15 13:44:24
  发表了文章 2023-05-15 13:44:24

  每日学术速递2.28

  最近在机器人视觉表示学习方面的工作证明了从人类执行日常任务的大型视频数据集中学习的可行性。利用掩码自动编码和对比学习等方法，这些表示表现出向视觉运动控制的策略学习的强烈迁移。但是，机器人学习包含一系列无法控制的问题，包括掌握能力预测、语言条件模仿学习和人机协作的意图评分等。
• 05.15 13:42:20
  发表了文章 2023-05-15 13:42:20

  每日学术速递2.27

  视觉知识感知问答 (Knowledge-aware question answering, KAQA) 要求模型通过知识库回答问题，这对于开放域 QA 和特定域 QA 都是必不可少的，尤其是当仅靠语言模型无法提供所需的所有知识时。尽管最近的 KAQA 系统倾向于整合来自预训练语言模型 (PLM) 的语言知识和来自知识图 (KG) 的事实知识来回答复杂问题，但在有效融合来自 PLM 和 KG 的表征方面存在瓶颈，因为(i) 它们之间的语义和分布差距，以及 (ii) 对两种模式提供的知识进行联合推理的困难。
• 05.15 13:40:08
  发表了文章 2023-05-15 13:40:08

  AI_Papers周刊：第三期

  我们介绍了 LLaMA，这是一组基础语言模型，参数范围从 7B 到 65B。我们在数万亿个令牌上训练我们的模型，并表明可以仅使用公开可用的数据集来训练最先进的模型，而无需诉诸专有和不可访问的数据集。特别是，LLaMA-13B 在大多数基准测试中都优于 GPT-3 (175B)，而 LLaMA-65B 可与最佳模型 Chinchilla70B 和 PaLM-540B 竞争。我们将所有模型发布给研究社区。
• 05.15 13:34:43
  发表了文章 2023-05-15 13:34:43

  AI_News周刊：第三期

  2023 年 2 月 21 日——贝恩公司今天宣布与 OpenAI 建立全球服务联盟，OpenAI 是人工智能系统 ChatGPT、DALL·E 和 Codex 背后的研究和部署公司，这些系统正在改变人们交流和创造的方式。贝恩和 OpenAI 正在合作，将 OpenAI 的突破性功能带给全球客户。通过该联盟，贝恩将其深厚的数字化实施能力和战略专长与 OpenAI 的人工智能工具和平台（包括 ChatGPT）相结合，帮助其全球客户识别和实施人工智能的价值，以最大限度地发挥商业潜力。
• 05.15 13:32:27
  发表了文章 2023-05-15 13:32:27

  每日学术速递2.24

  在本技术报告中，我们介绍了百度 KDD 杯 2022 空间动态风电功率预测挑战赛的解决方案。风能是一种快速增长的清洁能源。准确的风电功率预测对于电网稳定和供应安全至关重要。为此，主办方提供了包含134台风电机组历史数据的风电数据集，并发起百度KDD Cup 2022，以检验当前风电预测方法的局限性。
• 05.15 13:30:36
  发表了文章 2023-05-15 13:30:36

  每日学术速递2.23

  本文探讨了动态系统中的离散形态对称性，这是生物学和机器人系统的主要特征。当系统的形态具有一个或多个对称平面时，它表现出形态对称性，描述了身体部位的重复和平衡分布。这些形态对称性意味着系统的动力学是对称的（或近似对称的），这进而在最优控制策略和所有与系统动态演化相关的本体感知和外感知测量中印记了对称性。
• 05.15 13:28:42
  发表了文章 2023-05-15 13:28:42

  每日学术速递2.22

  时空数据挖掘在空气质量监测、人群流动建模和气候预测中发挥着重要作用。然而，由于传感器故障或传输丢失，现实场景中最初收集的时空数据通常是不完整的。时空插补旨在根据观测值及其潜在的时空依赖性来填充缺失值。
• 05.15 13:26:46
  发表了文章 2023-05-15 13:26:46

  每日学术速递2.21

  大规模文本到图像 (T2I) 模型令人难以置信的生成能力已经证明了学习复杂结构和有意义的语义的强大能力。然而，仅仅依靠文本提示并不能充分利用模型学到的知识，尤其是在需要灵活准确的结构控制时。在本文中，我们的目标是“挖掘”出 T2I 模型隐式学习的能力，然后显式地使用它们来更细粒度地控制生成。
• 05.15 13:24:43
  发表了文章 2023-05-15 13:24:43

  2022年AI顶级论文 —生成模型之年（中）

  2016年，AlphaGo在围棋这一当时人们认为其复杂性很难被人工智能系统模拟的围棋挑战赛中战胜了世界冠军。
• 05.15 13:21:36
  发表了文章 2023-05-15 13:21:36

  2022年AI顶级论文 —生成模型之年（上）

  2017年，Google的Ashish Vaswani等人提出了 Transformer 深度学习新模型架构，奠定了当前大模型领域主流的算法架构基础。
• 05.15 13:18:06
  发表了文章 2023-05-15 13:18:06

  每日学术速递2.20

  将强大的生成去噪扩散模型 (DDM) 应用于图像语义编辑等下游任务通常需要微调预训练 DDM 或学习辅助编辑网络。在这项工作中，我们通过仅通过冻结 DDM 优化去噪轨迹，在各种应用程序设置上实现了 SOTA 语义控制性能。
• 05.15 13:16:04
  发表了文章 2023-05-15 13:16:04

  AI_Papers周刊：第二期

  心理理论 (ToM)，或将不可观察的心理状态归因于他人的能力，是人类社会互动、沟通、同理心、自我意识和道德的核心。我们在没有任何示例或预训练的情况下，对多种语言模型执行广泛用于测试人类 ToM 的经典错误信念任务。我们的结果表明，2022 年之前发布的模型几乎没有能力解决 ToM 任务。
• 05.15 13:11:44
  发表了文章 2023-05-15 13:11:44

  AI_News周刊：第二期

  这一转变标志着自社交媒体以来最重要的技术突破。近几个月来，好奇、震惊的公众如饥似渴地采用了生成式人工智能工具，这要归功于诸如 ChatGPT 之类的程序，它对几乎任何查询做出连贯（但并不总是准确）的响应，以及 Dall-E，它允许你召唤任何你想要的图像做梦。1 月份，ChatGPT 的月用户达到 1 亿，采用率高于 Instagram 或 TikTok。从 Midjourney 到 Stable Diffusion 再到 GitHub 的 Copilot，数以百计同样惊人的生成式 AI 都在呼吁采用，它可以让你将简单的指令转化为计算机代码。
• 05.15 13:09:23
  发表了文章 2023-05-15 13:09:23

  每日学术速递2.17

  近年来，大型深度学习 (DL) 模型的开发有所增加，这使得训练效率变得至关重要。通常的做法是在可用性和性能之间进行权衡。一方面，诸如 PyTorch 之类的 DL 框架使用动态图来以次优模型训练性能为代价为模型开发人员提供便利。
• 05.15 13:07:00
  发表了文章 2023-05-15 13:07:00

  ICLR 2022—你不应该错过的 10 篇论文（下）

  ICLR 2022将于2022年 4 月 25 日星期一至 4 月 29 日星期五在线举行（连续第三年！）。它是机器学习研究领域规模最大、最受欢迎的会议之一，它汇集了超过 1000 篇论文、19 个研讨会和 8 个特邀报告。主题涵盖 ML 理论、强化学习 (RL)、计算机视觉 (CV) )、自然语言处理 (NLP)、神经科学等等。
• 05.15 13:04:19
  发表了文章 2023-05-15 13:04:19

  每日学术速递2.16

  半监督目标检测 (SSOD) 已成功提高 R-CNN 系列和无锚检测器的性能。然而，one-stage anchor-based detectors 缺乏生成高质量或灵活伪标签的结构，导致 SSOD 中存在严重的不一致问题，例如 YOLOv5。在本文中，我们提出了高效教师框架，用于可扩展且有效的基于锚点的单阶段 SSOD 训练，由密集检测器、伪标签分配器和时代适配器组成
• 05.15 13:01:14
  发表了文章 2023-05-15 13:01:14

  ICLR 2022—你不应该错过的 10 篇论文（上）

  ICLR 2022将于2022年 4 月 25 日星期一至 4 月 29 日星期五在线举行（连续第三年！）。它是深度学习研究领域规模最大、最受欢迎的会议之一，它汇集了超过 1000 篇论文、19 个研讨会和 8 个特邀报告。主题涵盖 ML 理论、强化学习 (RL)、计算机视觉 (CV) )、自然语言处理 (NLP)、神经科学等等

  
• 05.14 19:58:08
  发表了文章 2023-05-14 19:58:08

  每日学术速递2.15

  为时空动作检测任务设计实时框架仍然是一个挑战。在本文中，我们提出了一种新颖的实时动作检测框架 YOWOv2。在这个新框架中，YOWOv2 利用 3D 骨干和 2D 骨干进行准确的动作检测。多级检测管道旨在检测不同规模的动作实例。
• 05.14 19:55:40
  发表了文章 2023-05-14 19:55:40

  每日学术速递2.14

  尽管最近几个两阶段的原型网络在少有的命名实体识别（NER）任务中取得了成功，但在跨度检测阶段检测出的错误跨度过大以及在类型分类阶段原型不准确和不稳定仍然是具有挑战性的问题。在本文中，我们提出了一个新颖的类型感知分解框架
• 05.14 19:52:57
  发表了文章 2023-05-14 19:52:57

  每日学术速递2.13

  弱监督人像搜索的目的是在仅有人像边界框注释的情况下进行联合行人检测和重新识别（re-id）。最近，对比学习的理念被初步应用于弱监督人像搜索，其中两种常见的对比策略是基于记忆的对比和图像内对比。我们认为，目前的图像内对比是浅层的，它受到了空间级和遮挡级差异的影响。在本文中，我们提出了一个使用连体网络的新型深度图像内对比学习。
• 05.14 19:50:26
  发表了文章 2023-05-14 19:50:26

  AI_Papers：第一期

  这是来自亚马逊的AI大神李沐团队的最新研究成果。该论文正在讨论使用大型语言模型 (LLM) 进行复杂的推理任务。法学硕士通过使用一种称为“思维链 (CoT) 提示”的技术展示了良好的性能，该技术涉及生成一系列中间推理步骤以得出答案。
• 05.14 19:46:10
  发表了文章 2023-05-14 19:46:10

  AI_News周刊：第一期

  在去年年末，OpenAI的ChatGPT在技术圈已经火了一次，随着上周它的二次出圈，ChatGPT算得上是人工智能领域的一颗明星，它在聊天机器人领域有着不可忽视的影响力。其准确、快速、人性化的回答令人惊讶，让人感到未来已经到来。
• 05.14 19:43:09
  发表了文章 2023-05-14 19:43:09

  每日学术速递2.11

  推荐系统已经成为流行和有效的工具，通过基于隐性互动（如购买和点击）的用户偏好和物品属性建模，帮助用户发现他们感兴趣的物品。人类通过处理模态信号（如音频、文本和图像）来感知世界，这启发了研究人员建立一个能够理解和解释不同模态数据的推荐系统
• 05.14 19:41:00
  发表了文章 2023-05-14 19:41:00

  深度学习实战（11）：使用多层感知器分类器对手写数字进行分类

  MLP 是一种监督机器学习 (ML) 算法，属于前馈人工神经网络 [1] 类。该算法本质上是在数据上进行训练以学习函数。给定一组特征和一个目标变量（例如标签），它会学习一个用于分类或回归的非线性函数。在本文中，我们将只关注分类案例。
• 05.14 19:37:18
  发表了文章 2023-05-14 19:37:18

  每日学术速递2.10

  虽然鱼眼图像的失真校正已被广泛研究，但鱼眼视频的校正仍是一个难以捉摸的挑战。对于鱼眼视频的不同帧，现有的图像校正方法忽略了序列的相关性，导致校正后的视频出现时间上的抖动。为了解决这个问题，我们提出了一个时间加权方案，以获得一个合理的全局光流，通过逐步减少帧的权重来缓解抖动效应。
• 05.14 19:35:02
  发表了文章 2023-05-14 19:35:02

  每日学术速递2.9

  归纳式单比特矩阵完成法是由现代应用所激发的，如推荐系统，新用户会在测试阶段出现，其评分只由1而没有0组成。我们提出了一个统一的图信号采样框架，它享有图信号分析和处理的好处。
• 05.14 19:33:12
  发表了文章 2023-05-14 19:33:12

  每日学术速递2.8

  最近，大型模型在各个领域都取得了最先进的表现。为了支持大型模型的训练，我们必须使用分布式训练技术。然而，找到一个有效的分布式执行计划不仅需要细粒度的模型统计，如每个操作者的内存和计算开销，而且即使对分布式训练领域的专家来说也是一项劳动密集型的任务