每日学术速递4.18

简介: 我们介绍了 Delta Denoising Score (DDS),这是一种用于基于文本的图像编辑的新颖评分函数,可引导对输入图像进行最小程度的修改以实现目标提示中描述的内容。DDS 利用文本到图像扩散模型的丰富生成先验,可用作优化问题中的损失项,以将图像引导至文本指示的所需方向。DDS 利用分数蒸馏采样 (SDS) 机制来进行图像编辑。我们表明,仅使用 SDS 通常会由于嘈杂的梯度而产生不详细和模糊的输出。

CV - 计算机视觉 |  ML - 机器学习 |  RL - 强化学习 | NLP 自然语言处理

Subjects: cs.CV


1.Inpaint Anything: Segment Anything Meets Image Inpainting


012752809ce3e98976b332513934fee7.png


标题:Inpaint Anything:分割任何东西满足图像修复

作者:Tao Yu, Runseng Feng, Ruoyu Feng, Jinming Liu, Xin Jin, Wenjun Zeng, Zhibo Chen

文章链接:https://arxiv.org/abs/2304.06790

项目代码:https://github.com/geekyutao/Inpaint-Anything

39d212763b4b212b1557e992061f68e6.png

摘要:

       现代图像修复系统尽管取得了重大进展,但常常在掩码选择和孔洞填充方面遇到困难。基于Segment-Anything Model (SAM),我们对无掩码图像修复进行了首次尝试,并提出了一种新的“点击和填充”范式,命名为Inpaint Anything (IA)。IA 背后的核心思想是结合不同模型的优势,以构建一个非常强大且用户友好的管道来解决与修复相关的问题。IA 支持三个主要功能:(i) Remove Anything:用户可以单击一个对象,IA 将删除它并用上下文平滑“孔”;(ii) Fill Anything:在移除某些对象后,用户可以向 IA 提供基于文本的提示,然后它会通过驱动 Stable Diffusion 等 AIGC 模型用相应的生成内容填充空洞;(iii) Replace Anything:使用 IA,用户可以选择保留单击选择的对象并将剩余的背景替换为新生成的场景。我们也非常愿意帮助大家分享和推广基于我们 Inpaint Anything (IA) 的新项目。我们的代码可在此 https URL 上获得。

2.Soundini: Sound-Guided Diffusion for Natural Video Editing

f794d74c1e5f5e72bf04de0de096c648.png

标题:Soundini:用于自然视频编辑的声音引导扩散

作者:Seung Hyun Lee, Sieun Kim, Innfarn Yoo, Feng Yang, Donghyeon Cho, Youngseo Kim, Huiwen Chang, Jinkyu Kim, Sangpil Kim

文章链接:https://arxiv.org/abs/2304.06818

项目代码:https://kuai-lab.github.io/soundini-gallery/

2d46984fe02a35023594e4a6ca47a360.png

899127fb2376a86e803e6084db4259e8.png

d343a7f02ea826849072ba093144d6da.png

9ebe8fb004e5aae51a02869873b9ad81.png

摘要:

       我们提出了一种方法,可以将声音引导的视觉效果添加到具有零镜头设置的视频的特定区域。动画化视觉效果的外观具有挑战性,因为编辑视频的每一帧都应具有视觉变化,同时保持时间一致性。此外,现有的视频编辑解决方案侧重于跨帧的时间一致性,而忽略了随时间变化的视觉风格变化,例如雷雨、波浪、火焰噼啪声。为了克服这个限制,我们将时间声音特征用于动态风格。具体来说,我们在视听潜在空间中使用音频潜在表示来指导去噪扩散概率模型。据我们所知,我们的工作是第一个从具有声音专业属性(例如强度、音色和音量)的各种声源探索声音引导的自然视频编辑。此外,我们设计了基于光流的引导来生成时间一致的视频帧,捕获相邻帧之间的像素关系。实验结果表明,我们的方法优于现有的视频编辑技术,产生更逼真的视觉效果,反映声音的特性。请访问我们的页面:这个 https URL 。

3.Delta Denoising Score

4ac01bcfd1e35aa2bf6254965659694f.png


标题:Delta 降噪得分

作者:Amir Hertz, Kfir Aberman, Daniel Cohen-Or

文章链接:https://arxiv.org/abs/2304.07090

项目代码:https://delta-denoising-score.github.io/

f7489ec02bec0909cc474c6af1dd1a31.png

8b33f6021e92bc7eb499dbf64bf6df61.png

6ed12de1d9781ad6afa1ea2e5412fe7b.png

38bd246880a4e5cce60dfbb8b00cb064.png

f83fd7e653d78cf4fa80b8649337c482.png


摘要:

       我们介绍了 Delta Denoising Score (DDS),这是一种用于基于文本的图像编辑的新颖评分函数,可引导对输入图像进行最小程度的修改以实现目标提示中描述的内容。DDS 利用文本到图像扩散模型的丰富生成先验,可用作优化问题中的损失项,以将图像引导至文本指示的所需方向。DDS 利用分数蒸馏采样 (SDS) 机制来进行图像编辑。我们表明,仅使用 SDS 通常会由于嘈杂的梯度而产生不详细和模糊的输出。为了解决这个问题,DDS 使用与输入图像匹配的提示来识别和删除不需要的 SDS 错误方向。我们的关键前提是,在对匹配的提示和图像对进行计算时,SDS 应该为零,这意味着如果分数不为零,则其梯度可以归因于 SDS 的错误成分。我们的分析证明了 DDS 在基于文本的图像到图像翻译方面的能力。我们进一步表明,DDS 可用于训练有效的零镜头图像翻译模型。实验结果表明,DDS 在稳定性和质量方面优于现有方法,突出了其在基于文本的图像编辑中实际应用的潜力。

目录
打赏
0
0
0
0
12
分享
相关文章
每日学术速递3.9
最近的视觉语言模型显示出令人印象深刻的多模态生成能力。但是,通常它们需要在海量数据集上训练大型模型。作为更具可扩展性的替代方案,我们引入了 Prismer,这是一种数据和参数高效的视觉语言模型,它利用了领域专家的集合。
197 0
每日学术速递3.9
每日学术速递3.27
向多指机器人教授灵巧性一直是机器人学领域的一项长期挑战。该领域最突出的工作集中在学习控制器或策略,这些控制器或策略对视觉观察或从视觉得出的状态估计进行操作。然而,这种方法在需要对接触力或手本身遮挡的物体进行推理的细粒度操作任务上表现不佳。
156 0
每日学术速递3.27
每日学术速递4.6
大型语言模型 (LLM)(如 GPT-3 和 ChatGPT)的成功导致开发了许多具有成本效益且易于访问的替代方案,这些替代方案是通过使用特定于任务的数据(例如,ChatDoctor)微调开放访问 LLM 创建的) 或指令数据(例如,Alpaca)。在各种微调方法中,基于适配器的参数高效微调(PEFT)无疑是最吸引人的话题之一
190 0
每日学术速递3.29
由于模型容量有限,纯基于 MLP 的神经辐射场(基于 NeRF 的方法)在大型场景上经常会出现渲染模糊的欠拟合问题。最近的方法提出在地理上划分场景并采用多个子 NeRF 分别对每个区域进行建模,从而导致训练成本和子 NeRF 的数量随着场景的扩展而线性增加。
212 0
每日学术速递2.28
最近在机器人视觉表示学习方面的工作证明了从人类执行日常任务的大型视频数据集中学习的可行性。利用掩码自动编码和对比学习等方法,这些表示表现出向视觉运动控制的策略学习的强烈迁移。但是,机器人学习包含一系列无法控制的问题,包括掌握能力预测、语言条件模仿学习和人机协作的意图评分等。
110 0
每日学术速递3.7
由 Hinton 等人介绍。2012 年,dropout 作为防止神经网络过度拟合的正则化项经受住了时间的考验。在这项研究中,我们证明了在训练开始时使用 dropout 也可以减轻欠拟合。在早期阶段,我们发现 dropout 减少了小批量梯度的方向方差,并有助于将小批量梯度与整个数据集的梯度对齐。这有助于抵消 SGD 的随机性并限制个别批次对模型训练的影响。
142 0
每日学术速递4.20
建造一个可以通过观察人类来理解和学习互动的机器人激发了几个视觉问题。然而,尽管在静态数据集上取得了一些成功的结果,但目前的模型如何直接用在机器人上仍然不清楚。在本文中,我们旨在通过以环境为中心的方式利用人类互动视频来弥合这一差距。利用人类行为的互联网视频,我们训练了一个视觉可供性模型,该模型估计人类可能在场景中的位置和方式进行交互
159 0
每日学术速递3.8
扩散模型(DM)已成为生成模型的新趋势,并展示了强大的条件合成能力。其中,在大规模图像文本对上预训练的文本到图像扩散模型可通过可定制的提示高度控制。与专注于低级属性和细节的无条件生成模型不同,由于视觉语言预训练,文本到图像扩散模型包含更多高级知识。在本文中,我们提出了 VPD(具有预训练扩散模型的视觉感知),这是一种在视觉感知任务中利用预训练文本到图像扩散模型的语义信息的新框架。我们没有在基于扩散的管道中使用预训练的去噪自动编码器,而是简单地将其用作主干,旨在研究如何充分利用所学知识。
144 0
每日学术速递4.9
错误信息已成为一个紧迫的问题。网络上广泛存在视觉和文本形式的虚假媒体。虽然已经提出了各种 deepfake 检测和文本假新闻检测方法,但它们仅设计用于基于二进制分类的单模态伪造,更不用说分析和推理跨不同模态的细微伪造痕迹。
166 0
每日学术速递2.17
近年来,大型深度学习 (DL) 模型的开发有所增加,这使得训练效率变得至关重要。通常的做法是在可用性和性能之间进行权衡。一方面,诸如 PyTorch 之类的 DL 框架使用动态图来以次优模型训练性能为代价为模型开发人员提供便利。
143 0
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等