超炫酷项目来袭!DragGAN 正式开源了!

简介: 之前树先生给大家介绍过一个项目 DragGAN,现在正式开源了!

之前树先生给大家介绍过一个项目 DragGAN,现在正式开源了!

超炫酷项目来袭!DragGAN 火爆开源社区!

那还等什么,盘它!


DragGAN 是什么?

不同于 Stable Diffusion 与 Midjourney 使用的扩散模型,DragGAN 是一款基于生成对抗网络(GANs)技术的图片编辑项目。追根溯源,其实还是 NVIDIA 的 StyleGAN 的衍生项目。

DragGAN 由两个主要部分组成:

第一部分是基于特征的运动监督,通过控制起始点向目标点运动,实现图像的变形;

第二部分是新的点跟踪方法,即最近邻检索,通过在相同的特征空间上进行点跟踪,提高了效率,并避免了累计误差损失。

简单来说,它能够让你轻松掌控图片中的人物和动物,通过拖拽控制点和目标点来调整他们的位置、形状、姿势等等。目前这个项目在 Github 上已经斩获了 20K star 了,趋势榜第一,足见其火爆程度!


部署要求

  • 支持 Linux 和 Windows,建议使用 Linux
  • 内存 12 GB 以上
  • 1–8 NVIDIA 高端 GPU
  • Python >= 3.8,PyTorch >= 1.9.0
  • CUDA toolkit >= 11.1


安装部署

安装过程,真是一把鼻涕一把泪,到处都是坑,先是在阿里 PAI 平台栽跟头,折腾好久才发现是基础环境问题,后来又在安装方法上翻了车,官方的安装指导也是各种报错。

一路艰难摸索过来,现在将实测可行的一套部署方法带给大家。

这里我们选择 AutoDL 云平台,使用 Python 3.8,CUDA 11.8 的镜像,这个镜像的环境就已经满足项目要求了。

下载源码

git clone https://github.com/XingangPan/DragGAN.git

安装依赖

cd DragGAN
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

如果出现下面的报错,代表这个 pip 源里没有对应的版本。

修改 requirements.txt 文件,去除特定版本依赖,再次执行即可。

torch>=2.0.0
scipy
Ninja==1.10.2
gradio>=3.35.2
imageio-ffmpeg>=0.4.3
huggingface_hub
hf_transfer
pyopengl
imgui
glfw==2.6.1
pillow>=9.4.0
torchvision>=0.15.2
imageio>=2.9.0

下载模型

sh scripts/download_model.sh

运行

这里选择运行 WebUI,看到 URL 就代表启动成功了。

# 运行 WebUI
python visualizer_drag_gradio.py

效果展示

使用上非常简单,鼠标在图中点点就行,红点是起始点,蓝点是目标点,实现图像的拖拽效果。

还可以控制区域图像,避免整体图像跟着变化。


很多人都以为这个项目能直接选一张照片,就能像 PS 一样进行 P 图了,其实并不是,至少目前还不支持,上面你看到的这些图片都是经过训练而生成的模型,所以本质上,你是在操作一个模型,而非图片!

如果你想操作自己的图片,那么按官网说的,你需要使用到 PTI 项目,将你自定义的图片训练成 StyleGAN 模型。


这部分内容下期再介绍,折腾 DragGAN 部署费了好大劲,有点累了,记得三连啊~


相关文章
|
5月前
|
设计模式 前端开发 开发者
个人开源项目商业化经验分享
开源项目推向商业化道路的开发者,将自的经历分享出来与诸位一同交流,期望大家能够少走弯路,让开源项目更健康的活下去。
个人开源项目商业化经验分享
|
8月前
|
Java Serverless Apache
9 个开源项目、25 个课题可选丨欢迎报名阿里云云原生开源之夏
2024 开源之夏,阿里云云原生应用平台团队开放了包括 Apache Dubbo/Apache RocketMQ/Apache Seata/Higress/iLogtail /Nacos/Sentinel/Spring Could Alibaba / Serverless Devs 在内,涉及微服务、消息、可观测、Serverless 4 大技术领域的 9 个开源项目。
1454 9
|
Cloud Native 开发者
邀请函 | 云原生开源开发者沙龙「上海站」
活动地址:上海徐汇区龙耀路 8 号,阿里巴巴徐汇滨江园区 X7-301 龙门书院。2023 年 7 月 30 日(周日)09:30 开始签到。
3082 0
邀请函 | 云原生开源开发者沙龙「上海站」
|
Cloud Native Dubbo 安全
活动回顾丨云原生开源开发者沙龙上海站(附 PPT)
活动回顾丨云原生开源开发者沙龙上海站(附 PPT)
|
Cloud Native Serverless 云计算
官宣!2023云原生编程挑战赛正式启动
官宣!2023云原生编程挑战赛正式启动
超炫酷项目来袭!DragGAN 火爆开源社区!
你在 Github 上见过一个空仓库在短短几天内就斩获 10K star 的项目吗? 今天树先生给大家介绍一款超炫酷的项目——DragGAN,来一起看看它为何如此火爆。 不同于之前大火的 Stable Diffusion 与 Midjourney 使用的扩散模型,DragGAN 是一款基于生成对抗网络(GANs)技术的图片编辑项目。
|
消息中间件 Cloud Native Java
10 个开源项目、47 个课题可选丨欢迎报名阿里云云原生开源之夏
开源之夏是由中科院软件所“开源软件供应链点亮计划”发起并长期支持的一项暑期开源活动,旨在鼓励在校学生积极参与开源软件的开发维护,培养和发掘更多优秀的开发者,促进优秀开源软件社区的蓬勃发展,助力开源软件供应链建设。
|
Kubernetes 供应链 算法
【开源之夏 2023】欢迎报名 SOFAStack 社区项目!
开源之夏是由“开源软件供应链点亮计划”发起并长期支持的一项暑期开源活动,旨在鼓励在校学生积极参与开源软件的开发维护,促进优秀开源软件社区的蓬勃发展,培养和发掘更多优秀的开发者。 活动联合国内外各大开源社区,针对重要开源软件的开发与维护提供项目任务,并面向全球高校学生开放报名。
|
Cloud Native 开发者
云原生应用插件扩展训练营上线,帮你开始开源社区贡献者之旅!
阿里云开发者学堂联合云原生开发平台推出了云原生应用插件扩展训练营,帮你开始开源社区贡献者之旅!
云原生应用插件扩展训练营上线,帮你开始开源社区贡献者之旅!
|
SQL Kubernetes Cloud Native
阿里巴巴编程之夏 2022 重磅来袭!欢迎报名阿里云 PolarDB 社区项目!
阿里巴巴编程之夏(ASoC)是面向全球18岁及以上本科、硕士、博士高校学生的技术普惠计划,它旨在鼓励高校学生深度参与开源开发活动,激励学生以第一视角感受开源世界的魅力。ASoC 以阿里巴巴开源技术力量作为媒介,为高校学生们和开源社区搭建桥梁。学生可自主选择感兴趣的项目进行申请,并在中选后获得该软件资深维护者(社区导师)亲自指导的机会。根据项目的难易程度和完成情况,参与者还将获取活动奖金和结项证书。PolarDB开源社区参与项目已经发布,欢迎各位同学报名!
阿里巴巴编程之夏 2022 重磅来袭!欢迎报名阿里云 PolarDB 社区项目!