【玩转AIGC系列】基于AIACC加速器快速实现AIGC绘画

简介: 本文介绍如何搭建Stable Diffusion的WebUI框架以实现2秒内文本生成图片、如何使用AiccTorch加速图片生成速度,以及如何使用不同模型进行推理。

背景信息

Stable Diffusion是一个可通过文本生成图像的扩散模型,基于CLIP模型从文字中提取隐变量,并通过UNet模型生成图片;最后通过逐步扩散、逐步处理图像,优化图像质量。


AIACC-Inference(AIACC推理加速器)Torch版可通过对模型的计算图进行切割,执行层间融合,以及高性能OP实现,大幅度提升PyTorch的推理性能。您无需指定精度和输入尺寸,即可通过JIT编译的方式对PyTorch框架下的深度学习模型进行推理优化。更多信息,请参见手动安装AIACC-Inference(AIACC推理加速)Torch版


本文基于阿里云GPU服务器和Stable Diffusion的WebUI框架,指导您如何基于AIACC加速器快速实现AIGC绘画。


特别提醒

  • 阿里云不对第三方模型的合法性、安全性、准确性进行任何保证,阿里云不对由此引发的任何损害承担责任。
  • 您应自觉遵守第三方模型的用户协议、使用规范和相关法律法规,并就使用第三方模型的合法性、合规性自行承担相关责任。

操作步骤

创建ECS实例

1.前往实例创建页

2.按照界面提示完成参数配置,创建一台ECS实例。需要注意的参数如下,其他参数的配置,请参见自定义购买实例

  • 实例:选择实例规格为ecs.gn7i-c16g1.4xlarge
  • 镜像:本文使用已部署好推理所需环境的云市场镜像,名称为ai-inference-solution
  • 公网IP:选中分配公网IPv4地址,带宽计费模式选择按使用流量,带宽峰值设置为100 Mbps,以加快模型下载速度。

3.添加安全组规则。
  在ECS实例安全组的入方向添加安全组规则并放行50000端口。具体操作,请参见添加安全组规则

4.创建完成后,在ECS实例页面,获取公网IP地址。
  说明 :公网IP地址用于生成图片测试时访问WebUI服务。


下载并配置模型

本实践中,下载了以下三个模型,您可以根据需要,切换模型进行测试。

  • v1-5-pruned-emaonly.safetensors:Stable Diffusion v1.5模型,一种潜在的text-to-image(文本到图像)的扩散模型,能够在给定任何文本输入的情况下生成逼真的图像。
    提醒: 该模型中文提示词效果不好,建议使用英文提示词。


  • Taiyi-Stable-Diffusion-1B-Chinese-v0.1:太乙-中文模型,基于0.2亿筛选过的中文图文对训练,可以使用中文进行AI绘画。


  • Taiyi-Stable-Diffusion-1B-Anime-Chinese-v0.1:太乙-动漫风格模型,首个开源的中文Stable Diffusion动漫模型,该模型是基于Taiyi-Stable-Diffusion-1B-Chinese-v0.1进行继续训练,经过100万筛选过的动漫中文图文对训练得到的。太乙-动漫风格模型不仅能够生成精美的动漫图像,还保留了太乙-中文模型对于中文概念强大的理解能力。

1.使用root用户远程连接ECS实例。
  该市场镜像中,运行环境及模型都安装在/root目录下,连接实例时需使用root用户。具体操作,请参见通过密码或密钥认证登录Linux实例


2.执行如下命令,下载v1-5-pruned-emaonly.safetensors模型。

cd ~/stable-diffusion-webui/models/Stable-diffusion
wget "https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.safetensors"

  当显示如下图所示的回显信息时,说明已下载完成。


3.执行如下命令,下载Taiyi-Stable-Diffusion-1B-Chinese-v0.1模型。

cd ~/stable-diffusion-webui/repositories/
git lfs clone https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1

  当显示如下图所示的回显信息时,说明已下载完成。


4.执行如下命令,下载Taiyi-Stable-Diffusion-1B-Anime-Chinese-v0.1模型。

cd ~/stable-diffusion-webui/repositories/
git lfs clone https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Anime-Chinese-v0.1

  当显示如下图所示的回显信息时,说明已下载完成。


5.为Nginx添加用户登录验证。该镜像预装了Nginx软件,用于登录鉴权,以防止非授权用户登录。

  a.执行如下命令,创建登录用户和密码。

htpasswd -bc /etc/nginx/password ${UserName} '${Password}'


说明: ${UserName}请替换为您自定义的用户名,例如admin;'${Password}'请替换为您自定义的密码,例如ECS@test1234。


  b.执行如下命令,重启Ngnix。

systemctl restart nginx

  c.执行如下命令,查看Ngnix状态。

systemctl status nginx

当显示如下图所示的回显信息时,说明Ngnix处于运行中。

  d.执行如下命令,设置Ngnix开机自启动。

systemctl enable nginx

开始文本生成图片

步骤一:启动WebUI服务

执行如下命令,启动WebUI服务。


cd ~/stable-diffusion-webui/
nohup ./run_taiyi.sh &


特别提醒:建议您等待1分钟,等待WebUI加载完成。


步骤二:开启AI绘画并测试AiccTorch加速效果

1.在浏览器地址栏输入http://:50000,在弹出的登录对话框,输入上章节第5步中创建的用户和密码,单击登录


2.开始AI绘画。

说明 首次应用AiccTorch进行图片生成,或者切换模型后的首次图片生成,会多占用约30s时间,以进行AiccTorch模型加载。


· 开启AiccTorch加速时进行AI绘画(默认已开启)
   在对话框中输入关键字,如铁马冰河入梦来,概念画,科幻,玄幻,3D,单击生成/Generate(您可以尝试多次Generate,生成更符合需求的图片)。
   页面右侧将会展示生成的图片和推理时间,本示例中单张图片推理时间为1.19s。

·禁用AiccTorch时进行AI绘画

  • 单击设置/Settings页签,左侧导航选择AiaccTorch,取消选中Apply Aiacctorch in Unet to speedup the whole network inference when loading models后,单击应用设置/Apply settings,再单击重新加载WebUI/Reload UI

  • 在对话框中输入关键字,单击生成/Generate,重新生成图片,查看推理时间(本示例为2.04s)。

对比发现,开启AiccTorch后,单张图片的推理时间要远少于禁用AiccTorch。


查看不同模型的推理效果

在步骤下载并配置模型中下载了3个模型,可根据需求切换模型,查看不同模型的推理效果。

1.在页面左上角,切换模型,例如切换为Taiyi-Stable-Diffusion-1B-Anime-Chinese-v0.1模型。

2.在对话框中输入提示词和反向提示词。

·提示词示例:

1个女孩,绿眼,棒球帽,金色头发,闭嘴,帽子,看向阅图者,短发,简单背景,单人,上半身,T恤

·反向提示词示例:

水彩,漫画,扫描件,简朴的画作,动画截图,3D,像素风,原画,草图,手绘,铅笔

生成的动漫风格图像如下图所示。

了解更多AIGC实践和GPU优惠

反馈与建议

如果您在使用教程或实践过程中有任何问题或建议,可以加入客户钉钉群(钉钉群号:28335015590)与我们的工程师线上交流,将有专人跟进您的问题和建议。

相关实践学习
2分钟自动化部署人生模拟器
本场景将带你借助云效流水线Flow实现人生模拟器小游戏的自动化部署
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
5月前
|
人工智能 算法
AIGC创作活动 | 智"绘"AI,使用PAI创造风格百变绘画助手
使用阿里云人工智能平台PAIx Free Prompt Editing图像编辑算法,开发个人AIGC绘图小助理,实现文本驱动的图像编辑功能单卡即可完成AIGC图片风格变化、背景变化和主体变化等功能。让我们一同开启这场旅程,为您的图像编辑添上无限可能性的翅膀吧。
|
6月前
|
人工智能 搜索推荐
如何利用AIGC技术实现个性化定制的绘画作品?
【4月更文挑战第30天】如何利用AIGC技术实现个性化定制的绘画作品?
217 1
|
6月前
|
人工智能 搜索推荐 算法
AIGC绘画
【4月更文挑战第30天】AIGC绘画
146 0
|
6月前
|
人工智能 运维 API
基于PAI-EAS一键部署Stable Diffusion AIGC绘画
教程中,您将学习如何使用阿里云模型在线服务(PAI-EAS)的预置镜像,快速部署AIGC Stable Diffusion SDWebUI绘画的AI-Web应用,以及启动WebUI进行模型推理。
|
机器学习/深度学习 人工智能 自然语言处理
让梦境绘入现实--AIGC人像绘画
在光怪陆离的梦境中,我们可以摆脱客观事实的约束,对自己的外在形象进行天马行空的畅想,有人化身威风凛凛的将军驰骋疆场,又有人化身亭亭玉立的公主正襟危坐,然而这些翩若惊鸿婉若游龙的美好瞬间却总是会随着一声闹钟的响声化为泡影。难道梦境中的自己总是不能被带回到现实之中吗?AIGC技术的快速发展使得这一点成为可能。
448 1
|
机器学习/深度学习 人工智能
AIGC新体验——阿里云PAI-EAS快速部署AI绘画
AIGC新体验——阿里云PAI-EAS快速部署AI绘画
|
机器学习/深度学习 人工智能 算法
谈一谈AIGC中AI绘画的好处
随着人工智能技术的不断发展,AI绘画作为一种创新的艺术形式正逐渐走入人们的视野。AI绘画是利用机器学习和深度学习算法,让计算机通过数据学习并生成艺术作品。这项新兴技术不仅给艺术家带来了全新的创作体验,也对艺术创作和艺术产业产生了深远的影响。在本文中,我们将探讨AI绘画的好处以及它对艺术领域带来的积极影响。
|
人工智能 弹性计算 物联网
AIGC初体验:部署Stable Diffusion玩转AI绘画(CPU版)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
|
机器学习/深度学习 人工智能 物联网
玩转AIGC | 5分钟使用PAI一键部署Stable Diffusion AI绘画应用
本文将展示如何通过阿里云机器学习PAI 快速部署SD文生图模型并启动WebUI 进行推理服务。
|
人工智能 Serverless 数据库
【AIGC】体验:部署Stable Diffusion来进行AI绘画
【AIGC】体验:部署Stable Diffusion来进行AI绘画
1192 0