这两天有一个AI拖动改图的项目特别火,看官方分享的演示视频,效果特别震撼!
为了获取第一手的真实体验,我也第一时间部署了这个项目,并实际体验了一下。
坦白的说,它的实际效果和演示视频还是有些差距的,操作上并没有那么顺滑,一是自动生成的UI,交互体验不太友好,二是它对计算资源的要求比较高,如果机器不行会比较卡。对项目比较熟悉的大佬在回应网友时也说到这只是一个研究项目,和商用产品还有比较大的差距。
不过这个工具确实能解决一些问题,比如想给照片中的人或者动物换个优美的姿势,以及重新设计产品的外观等。也许再经过一段时间的迭代,它就能像AI绘图一样让大家爱不释手了。所以,我还是详细分享下我的体验过程,也给想尝试的同学提供一个参考。
安装说明
这个项目是在Github上开源的,本质是基于生成对抗网络的深度学习模型,访问地址:github.com/XingangPan/…
一开始我本来打算自己搭建环境部署,但是总遇到各种问题,折腾了几下就放弃了,后来在项目的Issues讨论区中看到有Google Colab版本,所以就直接拿过来跑了。
这是我的notebook,大家可以直接拷贝运行:colab.research.google.com/drive/1Cah5…
代码很简单,我这里简单介绍下:
!git clone https://huggingface.co/spaces/radames/DragGan/ !pip install -r /content/DragGan/requirements.txt %cd /content/DragGan !python visualizer_drag_gradio.py --share
首先是从huggingface拷贝核心程序,由此可见大佬是在huggingface完成初次程序部署的;然后安装Gradio及其依赖的程序包;最后进入程序目录,启动程序。
这里为什么要装Gradio?首先这是一个让模型可视化的工具,方便我们进行调测;其次程序是在notebook中运行的,默认只能本机访问,Gradio可以做一个内网穿透,这样我们就可以在本地的浏览器操作。
为了给没操作过Google Colab的同学一些指引,我这里说下如何启动Notebook。
进入Notebook后,首先点击右上角这里的“连接”,Notebook就会自动创建服务器并启动它。
服务器启动成功后,这里会显示内存和磁盘的监控缩略图:
点击右侧的这个小箭头,在打开的下拉菜单中点击“查看资源”,就可以看到内存、GPU和磁盘的情况:
注意上图中的“GPU RAM”,这个代表显卡的显存使用情况,如果你的资源中没有这个项目,说明没有启用GPU,需要点击页面下方的“更改运行时类型”,在这里选择“硬件加速器”为GPU,GPU类型选择T4,如果付费了可以选择更好的。
程序启动成功后,日志这里会输出外网可以访问的Gradio地址,直接点击就会在浏览器打开。
使用说明
在打开的浏览器页面中,你会看到类似下图的一个页面:左边是一些控制参数和操作按钮,右边是待处理的图片区域。
这里我们做一个使用演示:
在页面的左上角,Pretrained Model 这里,我们选择 “stylegan2_dogs_1024_pytorch”,这是一些狗狗的预训练模型。模型选中后,右边就会加载一张狗狗的图片,这个图片是随机的。调整左侧的“See点”可以更换图片。
我这里的这个狗狗目光看向右边,我想让他把头扭过来,看着观众,这样可以增加一些亲近感!
具体操作步骤是:
1、在图片上点击想要拖拽的地方,点击完毕后,程序会进行一次处理,等待处理完毕,会显示一个红色的点。
2、在图片上点击要拖动到的地方,点击完毕后,程序还是会进行一次处理,等待即可,最后会显示一个蓝色的点。
3、点击Mask区域的“Edit Flexible Area”,点击完毕后,程序会进行一次处理,等待处理完毕。
4、然后我们点击图片右上角这个笔刷的按钮,把笔刷调整的大些,这样比较好涂抹。
5、然后涂抹,把狗狗的头部遮盖住,这一步的目的就是让拖动效果只影响遮盖的部分。
6、然后点击“Start”,开始拖拽调整。
可以看到图像会一步步接近我们的拖放点。
7、这个调整程序有时候长时间停不下来,可以点击“Stop”按钮停止运行,也可以刷新页面重载程序。
8、如果调整的效果不满意,可以多次调整,直到调整到最佳位置。
我这里技巧掌握的还不是很好,调整出来有点怪。
以上就是本文的主要内容了,从我的实际体验来说,比较卡,没有官宣的那么丝滑,可能是因为显卡的能力不够,有更好显卡的同学可以再试试,还有一部分原因是UI交互设计上的问题,每点一下图片部分都要重绘,加上网络传输,每次操作都要消耗若干秒或十几秒,应该可以合并一些前端操作再发到后端处理。
因本人能力有限,不免出现错漏,欢迎指正,感谢你的阅读。后续我会继续分享AI应用方面的东西,大家有兴趣的及时加我关注(微信公众号:萤火遛AI),以免错过精彩内容。