每日学术速递4.18

简介: 我们介绍了 Delta Denoising Score (DDS),这是一种用于基于文本的图像编辑的新颖评分函数,可引导对输入图像进行最小程度的修改以实现目标提示中描述的内容。DDS 利用文本到图像扩散模型的丰富生成先验,可用作优化问题中的损失项,以将图像引导至文本指示的所需方向。DDS 利用分数蒸馏采样 (SDS) 机制来进行图像编辑。我们表明,仅使用 SDS 通常会由于嘈杂的梯度而产生不详细和模糊的输出。

CV - 计算机视觉 |  ML - 机器学习 |  RL - 强化学习 | NLP 自然语言处理

Subjects: cs.CV


1.Inpaint Anything: Segment Anything Meets Image Inpainting


012752809ce3e98976b332513934fee7.png


标题:Inpaint Anything:分割任何东西满足图像修复

作者:Tao Yu, Runseng Feng, Ruoyu Feng, Jinming Liu, Xin Jin, Wenjun Zeng, Zhibo Chen

文章链接:https://arxiv.org/abs/2304.06790

项目代码:https://github.com/geekyutao/Inpaint-Anything

39d212763b4b212b1557e992061f68e6.png

摘要:

       现代图像修复系统尽管取得了重大进展,但常常在掩码选择和孔洞填充方面遇到困难。基于Segment-Anything Model (SAM),我们对无掩码图像修复进行了首次尝试,并提出了一种新的“点击和填充”范式,命名为Inpaint Anything (IA)。IA 背后的核心思想是结合不同模型的优势,以构建一个非常强大且用户友好的管道来解决与修复相关的问题。IA 支持三个主要功能:(i) Remove Anything:用户可以单击一个对象,IA 将删除它并用上下文平滑“孔”;(ii) Fill Anything:在移除某些对象后,用户可以向 IA 提供基于文本的提示,然后它会通过驱动 Stable Diffusion 等 AIGC 模型用相应的生成内容填充空洞;(iii) Replace Anything:使用 IA,用户可以选择保留单击选择的对象并将剩余的背景替换为新生成的场景。我们也非常愿意帮助大家分享和推广基于我们 Inpaint Anything (IA) 的新项目。我们的代码可在此 https URL 上获得。

2.Soundini: Sound-Guided Diffusion for Natural Video Editing

f794d74c1e5f5e72bf04de0de096c648.png

标题:Soundini:用于自然视频编辑的声音引导扩散

作者:Seung Hyun Lee, Sieun Kim, Innfarn Yoo, Feng Yang, Donghyeon Cho, Youngseo Kim, Huiwen Chang, Jinkyu Kim, Sangpil Kim

文章链接:https://arxiv.org/abs/2304.06818

项目代码:https://kuai-lab.github.io/soundini-gallery/

2d46984fe02a35023594e4a6ca47a360.png

899127fb2376a86e803e6084db4259e8.png

d343a7f02ea826849072ba093144d6da.png

9ebe8fb004e5aae51a02869873b9ad81.png

摘要:

       我们提出了一种方法,可以将声音引导的视觉效果添加到具有零镜头设置的视频的特定区域。动画化视觉效果的外观具有挑战性,因为编辑视频的每一帧都应具有视觉变化,同时保持时间一致性。此外,现有的视频编辑解决方案侧重于跨帧的时间一致性,而忽略了随时间变化的视觉风格变化,例如雷雨、波浪、火焰噼啪声。为了克服这个限制,我们将时间声音特征用于动态风格。具体来说,我们在视听潜在空间中使用音频潜在表示来指导去噪扩散概率模型。据我们所知,我们的工作是第一个从具有声音专业属性(例如强度、音色和音量)的各种声源探索声音引导的自然视频编辑。此外,我们设计了基于光流的引导来生成时间一致的视频帧,捕获相邻帧之间的像素关系。实验结果表明,我们的方法优于现有的视频编辑技术,产生更逼真的视觉效果,反映声音的特性。请访问我们的页面:这个 https URL 。

3.Delta Denoising Score

4ac01bcfd1e35aa2bf6254965659694f.png


标题:Delta 降噪得分

作者:Amir Hertz, Kfir Aberman, Daniel Cohen-Or

文章链接:https://arxiv.org/abs/2304.07090

项目代码:https://delta-denoising-score.github.io/

f7489ec02bec0909cc474c6af1dd1a31.png

8b33f6021e92bc7eb499dbf64bf6df61.png

6ed12de1d9781ad6afa1ea2e5412fe7b.png

38bd246880a4e5cce60dfbb8b00cb064.png

f83fd7e653d78cf4fa80b8649337c482.png


摘要:

       我们介绍了 Delta Denoising Score (DDS),这是一种用于基于文本的图像编辑的新颖评分函数,可引导对输入图像进行最小程度的修改以实现目标提示中描述的内容。DDS 利用文本到图像扩散模型的丰富生成先验,可用作优化问题中的损失项,以将图像引导至文本指示的所需方向。DDS 利用分数蒸馏采样 (SDS) 机制来进行图像编辑。我们表明,仅使用 SDS 通常会由于嘈杂的梯度而产生不详细和模糊的输出。为了解决这个问题,DDS 使用与输入图像匹配的提示来识别和删除不需要的 SDS 错误方向。我们的关键前提是,在对匹配的提示和图像对进行计算时,SDS 应该为零,这意味着如果分数不为零,则其梯度可以归因于 SDS 的错误成分。我们的分析证明了 DDS 在基于文本的图像到图像翻译方面的能力。我们进一步表明,DDS 可用于训练有效的零镜头图像翻译模型。实验结果表明,DDS 在稳定性和质量方面优于现有方法,突出了其在基于文本的图像编辑中实际应用的潜力。

目录
打赏
0
0
0
0
12
分享
相关文章
每日学术速递2.22
时空数据挖掘在空气质量监测、人群流动建模和气候预测中发挥着重要作用。然而,由于传感器故障或传输丢失,现实场景中最初收集的时空数据通常是不完整的。时空插补旨在根据观测值及其潜在的时空依赖性来填充缺失值。
142 0
每日学术速递4.5
无论是通过从头到尾以固定分辨率处理视频,还是结合池化和缩小策略,现有的视频转换器都可以处理整个网络中的整个视频内容,而无需专门处理大部分冗余信息。在本文中,我们提出了一种 Supertoken Video Transformer (SVT),它结合了语义池模块 (SPM),根据视觉转换器的语义沿着视觉转换器的深度聚合潜在表示,从而减少视频输入中固有的冗余。
141 0
每日学术速递3.21
随着神经辐射场 (NeRFs) 的引入,新颖的视图合成最近取得了巨大飞跃。NeRF 的核心是提出每个 3D 点都可以发出辐射,从而允许使用可区分的体积渲染进行视图合成。虽然神经辐射场可以准确地表示用于计算图像渲染的 3D 场景,但 3D 网格仍然是大多数计算机图形和模拟管道支持的主要场景表示,支持实时渲染和基于物理的模拟等任务。
161 0
每日学术速递4.11
最近关于从姿势图像进行 3D 重建的工作表明,使用深度神经网络直接推断场景级 3D 几何结构而无需迭代优化是可行的,显示出非凡的前景和高效率。
134 0
每日学术速递5.3
用任意语音音频生成说话人肖像是数字人和虚拟世界领域的一个关键问题。一种现代的说话人脸生成方法有望实现通用的音频-嘴唇同步、良好的视频质量和高系统效率的目标。
230 0
每日学术速递3.2
基于点击的交互式分割(IS)旨在提取用户交互下的目标对象。对于这项任务,当前大多数基于深度学习 (DL) 的方法主要遵循语义分割的一般流程。尽管取得了令人鼓舞的性能,但它们并没有完全明确地利用和传播点击信息,不可避免地导致不令人满意的分割结果,即使在点击点也是如此。
144 0
每日学术速递3.3
评估面部图像的质量对于以足够的准确性操作面部识别系统至关重要。人脸质量标准化的最新进展 (ISO/IEC WD 29794-5) 建议使用组件质量测量方法将人脸质量分解为各个因素,从而为操作员重新捕获低质量图像提供有价值的反馈。
167 0
每日学术速递4.29
我们提出了一种将点云渲染为表面的新方法。所提出的方法是可区分的,不需要特定场景的优化。这种独特的功能支持开箱即用的表面法线估计、渲染房间尺度点云、逆向渲染和全局照明光线追踪。与专注于将点云转换为其他表示(例如曲面或隐式函数)的现有工作不同,我们的关键思想是直接推断光线与给定点云表示的底层表面的交点。
162 0
每日学术速递4.26
我们介绍了 CLaMP:对比语言-音乐预训练,它使用音乐编码器和文本编码器通过对比损失联合训练来学习自然语言和符号音乐之间的跨模态表示。为了预训练 CLaMP,我们收集了 140 万个音乐文本对的大型数据集。它采用文本丢失作为数据增强技术和条形修补来有效地表示音乐数据,从而将序列长度减少到不到 10%。此外,我们开发了一个掩码音乐模型预训练目标,以增强音乐编码器对音乐背景和结构的理解。
161 0
每日学术速递4.14
我们提出了 ImageReward——第一个通用的文本到图像人类偏好奖励模型——来解决生成模型中的各种普遍问题,并使它们与人类价值观和偏好保持一致。它的训练基于我们的系统注释管道,涵盖评级和排名组件,收集了迄今为止 137k 专家比较的数据集。
188 0
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等