MimicBrush:奇迹画刷,重新定义局部重绘

简介: 图像编辑是一项实用而又具有挑战性的任务,因为用户的需求多种多样,其中最困难的部分之一是准确描述编辑后的图像应该是什么样子。在MimicBrush这项工作中,提出了一种新的编辑形式,称为模仿编辑,以帮助用户更方便地发挥创造力。

引言

图像编辑是一项实用而又具有挑战性的任务,因为用户的需求多种多样,其中最困难的部分之一是准确描述编辑后的图像应该是什么样子。在MimicBrush这项工作中,提出了一种新的编辑形式,称为模仿编辑,以帮助用户更方便地发挥创造力。具体来说,为了编辑感兴趣的图像区域,用户可以自由地直接从一些自然参考(例如,一些在线遇到的相关图片)中汲取灵感,而不必处理参考和源之间的契合。这样的设计要求系统自动找出对参考的期望以执行编辑。为此,提出了一个生成训练框架,称为 MimicBrush,它从视频剪辑中随机选择两帧,屏蔽一帧的某些区域,并学习使用另一帧的信息恢复被屏蔽的区域。这样,模型(从扩散先验发展而来)能够以自监督的方式捕捉单独图像之间的语义对应关系。项目组通过实验证明了我们的方法在各种测试用例下的有效性以及它相对于现有替代方案的优越性,还构建了一个基准以促进进一步的研究。

image.png

上图是MimicBrush 的训练过程。首先,从视频序列中随机采样两帧作为参考和源图像。然后对源图像进行mask处理并通过数据增强进行增强。之后,将源图像的noisy image latent, mask, background latent, and depth latent输入到模拟 U-Net 中。参考图像也经过增强并发送到参考 U-Net。对双 U-Net 进行训练以恢复源图像的mask区域。参考 U-Net 的attention key和value与模拟 U-Net 连接起来,以协助合成mask区域。

下面,我们从一个视频详细了解下MimicBrush吧!

image.gif

模型和WebUI代码现已在魔搭社区开源并可体验!

模型链接:https://modelscope.cn/models/xichen/MimicBrush

论文链接:https://arxiv.org/abs/2406.07547

Github地址:https://github.com/ali-vilab/MimicBrush?tab=readme-ov-file

体验地址:

   PC端:https://modelscope.cn/studios/iic/mimicbrush-demo

   

魔搭社区WebUI最佳实践

模型体验

第一步:上传选择要编辑的源图像

image.png

第二步:在源图像上绘制要编辑的区域。

image.png

第三步:上传/选择参考图像

image.png

第四步:生成图片!

image.png

模型下载

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('xichen/MimicBrush')

搭建运行WebUI

使用魔搭免费算力Notebook体验简单WebUI

image.png

打开Terminal

image.png

运行代码

pip install gradio
git clone https://www.modelscope.cn/studios/iic/mimicbrush-demo.git
cd mimicbrush-demo
python app.py

就可以体验您搭建的个人WebUI页面啦!

更多MimicBrush技术解析,欢迎预约6.26(周三)20:00-21:30直播

相关文章
|
图形学
Unity遍历子物体以及孙物体
遍历子物体以及孙物体
|
17天前
|
前端开发 图形学
unity UGUI跟随3D物体的坐标转换
在 Unity 中实现 UGUI 元素跟随 3D 物体,关键是将 3D 物体的世界坐标转换为屏幕或画布坐标。通过 Camera.WorldToScreenPoint 方法,可将 3D 物体位置映射到屏幕上,再更新 UGUI 元素的位置。代码示例展示了如何使用该方法,使 UGUI 图像跟随 3D 模型,并提供文字显示、图像和线条的显示/隐藏功能。
|
6月前
|
前端开发
背景滑动,动感加倍:CSS动画对角线效果全解析!
背景滑动,动感加倍:CSS动画对角线效果全解析!
|
6月前
|
存储 编解码 算法
第5章-着色基础-5.4-锯齿和抗锯齿
第5章-着色基础-5.4-锯齿和抗锯齿
61 1
|
8月前
|
图形学
【unity小技巧】实现FPS武器的瞄准放大效果(UGUI实现反向遮罩,全屏遮挡,局部镂空效果)
【unity小技巧】实现FPS武器的瞄准放大效果(UGUI实现反向遮罩,全屏遮挡,局部镂空效果)
168 1
|
7月前
|
前端开发
Canvas绘画之三条二次方贝塞尔曲线构成的复选框标记对号
Canvas绘画之三条二次方贝塞尔曲线构成的复选框标记对号
|
前端开发 JavaScript
神奇的滤镜!巧妙实现内凹的平滑圆角
神奇的滤镜!巧妙实现内凹的平滑圆角
317 0
神奇的滤镜!巧妙实现内凹的平滑圆角
|
关系型数据库 C#
通通玩blend美工(8)——动态绘制路径动画,画出个萌妹子~
原文:通通玩blend美工(8)——动态绘制路径动画,画出个萌妹子~       2年前我在玩Flex的时候就一直有一个疑问,就是如何来实现一个蚊香慢慢烧完的Loading动画呢?     刚经历了某甲方高强度一个月的洗礼后,这几天刚好闲下来,这个问题又浮现在我脑海里。
1005 0
|
图形学
Unity查找物体的子物体、孙物体
Unity查找物体下的所有物体 本文提供全流程,中文翻译。 Chinar 坚持将简单的生活方式,带给世人!(拥有更好的阅读体验 —— 高分辨率用户请根据需求调整网页缩放比例) Chinar ——...
2270 0

热门文章

最新文章