AI 助理
备案控制台
开发者社区 ModelScope模型即服务 文章 正文

在魔搭使用SD-WebUI，玩转AIGC！

2024-04-23 355
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
模型在线服务 PAI-EAS，A10/V100等 500元 1个月
推荐场景：
基于PAI-EAS挂载OSS部署AIGC服务
交互式建模 PAI-DSW，每月250计算时 3个月
推荐场景：
PAI×LLaMA Factory 微调 Llama3 模型
模型训练 PAI-DLC，5000CU*H 3个月
推荐场景：
低代码 Lora 微调及部署
简介： stable-diffusion-webui是一个便捷的工具，大大降低了复杂AI技术的使用门槛，让更多人能享受到AI驱动的图像生成技术带来的便利与创新可能。

引言

stable-diffusion-webui是一个很棒的开源项目，它是一款基于web的GUI应用，让用户能够方便地与 stable-diffusion模型进行交互，选择不同的模型，并实现从文本到图像（txt2img）的转换以及其他图像处理任务。也可进行图像生成图像以及图像高分辨、重绘（inpainting）、编辑等工作。

stable-diffusion-webui为创作者们提供了友好且直观的操作界面，无需直接编写代码就能够利用丰富的模型进行创作。用户也可以通过简单的参数配置，比如调整生成图片的尺寸、采样方式和步数、选择不同的预训练模型、调整seed等，来定制和优化生成图像的效果。同时，该Web UI也支持用户进行个性化训练，即在一定条件下训练自己的模型。

stable-diffusion-webui是一个便捷的工具，大大降低了复杂AI技术的使用门槛，让更多人能享受到AI驱动的图像生成技术带来的便利与创新可能。

企业微信截图_17138385179444.png


更多信息，访问开源链接：

https://github.com/AUTOMATIC1111/stable-diffusion-webui

最佳实践

环境配置和安装：

  1. python 3.10及以上版本
  2. pytorch推荐2.0及以上版本
  3. 建议使用CUDA 11.8及以上

本文在魔搭社区免费提供的GPU免费算力上体验：

2e860469-c919-49e6-a75a-372c92a7bfdc[1].png

开发者也可以使用modelscope的官方镜像，在云端或自有的设备上体验。

GPU环境镜像(python3.10)：

registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.13.1
registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.13.1
registry.us-west-1.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.13.1

下载和部署stable-diffusion-webui

clone代码，并安装相关依赖：

%cd /mnt/workspace/
# 安装依赖和下载源码
!apt update
!apt install -y aria2
!pip install gradio==3.41.2
!pip install insightface
!pip install gdown
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

下载一些经典的文生图模型（包含SD基础模型，Lora，Controlnet等），并存放到models目录的相关子目录下。小伙伴们可以选择自己希望使用的模型并下载，如下代码注释了模型类型，并映射到了对应的存储文件夹。

# 基础模型下载
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M "https://modelscope.cn/api/v1/models/AI-ModelScope/stable-diffusion-2-1/repo?Revision=master&FilePath=v2-1_768-ema-pruned.ckpt" -d /mnt/workspace/stable-diffusion-webui/models/Stable-diffusion -o v2-1_768-ema-pruned.ckpt
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M "https://modelscope.cn/api/v1/models/AI-ModelScope/stable-diffusion-2-base/repo?Revision=master&FilePath=512-base-ema.ckpt" -d /mnt/workspace/stable-diffusion-webui/models/Stable-diffusion -o 512-base-ema.ckpt
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M "https://modelscope.cn/api/v1/models/AI-ModelScope/anything-v3.0/repo?Revision=master&FilePath=Anything-V3.0-pruned.ckpt" -d /mnt/workspace/stable-diffusion-webui/models/Stable-diffusion -o Anything-V3.0-pruned.ckpt
# VAE模型下载
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M "https://modelscope.cn/api/v1/models/AI-ModelScope/sd-vae-ft-mse-original/repo?Revision=master&FilePath=vae-ft-mse-840000-ema-pruned.ckpt" -d /mnt/workspace/stable-diffusion-webui/models/Stable-diffusion -o Anything-V3.0-pruned.vae.pt
# clip模型下载
!git clone https://www.modelscope.cn/AI-ModelScope/clip-vit-large-patch14.git /mnt/workspace/stable-diffusion-webui/openai/clip-vit-large-patch14
# controlnet模型下载
!aria2c --console-log-level=error -c -x 16 -k 1M -s 16 "https://modelscope.cn/api/v1/models/sd_lora/ControlNet/repo?Revision=master&FilePath=canny-sd21-safe.safetensors" -d /mnt/workspace/stable-diffusion-webui/extensions/sd-webui-controlnet/models -o canny-sd21-safe.safetensors
!aria2c --console-log-level=error -c -x 16 -k 1M -s 16 "https://modelscope.cn/api/v1/models/sd_lora/ControlNet/repo?Revision=master&FilePath=depth-sd21-safe.safetensors" -d /mnt/workspace/stable-diffusion-webui/extensions/sd-webui-controlnet/models -o depth-sd21-safe.safetensors
!aria2c --console-log-level=error -c -x 16 -k 1M -s 16 "https://modelscope.cn/api/v1/models/sd_lora/ControlNet/repo?Revision=master&FilePath=hed-sd21-safe.safetensors" -d /mnt/workspace/stable-diffusion-webui/extensions/sd-webui-controlnet/models -o hed-sd21-safe.safetensors
!aria2c --console-log-level=error -c -x 16 -k 1M -s 16 "https://modelscope.cn/api/v1/models/sd_lora/ControlNet/repo?Revision=master&FilePath=openpose-sd21-safe.safetensors" -d /mnt/workspace/stable-diffusion-webui/extensions/sd-webui-controlnet/models -o openpose-sd21-safe.safetensors
!aria2c --console-log-level=error -c -x 16 -k 1M -s 16 "https://modelscope.cn/api/v1/models/sd_lora/ControlNet/repo?Revision=master&FilePath=scribble-sd21-safe.safetensors" -d /mnt/workspace/stable-diffusion-webui/extensions/sd-webui-controlnet/models -o scribble-sd21-safe.safetensors
# Embedding模型下载
!git clone https://www.modelscope.cn/AI-ModelScope/negative.git /mnt/workspace/stable-diffusion-webui/embeddings/negative
# lora模型下载
!git clone https://www.modelscope.cn/sd_lora/embed_lora.git /mnt/workspace/stable-diffusion-webui/models/Lora/positive
# 放大模型（upscaler）下载
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M "https://modelscope.cn/api/v1/models/AI-ModelScope/upscale/repo?Revision=master&FilePath=4x-UltraSharp.pth" -d /mnt/workspace/stable-diffusion-webui/models/ESRGAN -o 4x-UltraSharp.pth

本文涉及的模型链接：

基础模型：

https://modelscope.cn/models/AI-ModelScope/stable-diffusion-2-1

https://modelscope.cn/models/AI-ModelScope/stable-diffusion-2-base

https://modelscope.cn/models/AI-ModelScope/anything-v3.0

VAE模型：

https://modelscope.cn/models/AI-ModelScope/sd-vae-ft-mse-original

clip模型：

https://modelscope.cn/models/AI-ModelScope/clip-vit-large-patch14

Controlnet模型：

https://modelscope.cn/models/sd_lora/ControlNet

Embedding模型：

https://modelscope.cn/modelsAI-ModelScope/negative

lora模型：

https://modelscope.cn/modelsAI-ModelScope/sd_lora/embed_lora

放大模型：

https://modelscope.cn/models/AI-ModelScope/upscale

同时，魔搭社区还有丰富的基础模型，lora，视频生成模型，id相关的如facechain，instantid等，如果仅需要下载单个模型文件，在模型的主页，选择模型文件，单机需要下载的模型文件，右上角即可点击下载或复制下载链接。

image.png

运行sd-webui的前端gradio组件，拉起服务：

%cd stable-diffusion-webui
!python launch.py --listen --xformers --enable-insecure-extension-access --theme dark --gradio-queue --lowvram

切换模型，可以看到不同的生成效果：

Anything-V3.0

image.png

sd2.1

image.png

文章标签：
人工智能
物联网
异构计算
搜索推荐
存储
ModelScope运营小助手
目录
相关文章
阿里云云原生
|
6月前
|
存储 人工智能 物联网
【体验有奖】用 AI 画春天，函数计算搭建 Stable Diffusion WebUI
【体验有奖】用 AI 画春天，函数计算搭建 Stable Diffusion WebUI
阿里云云原生
720 4
阿里云大数据Al技术
|
6月前
|
人工智能 异构计算
基于PAI-DSW使用SD WebUI实现AI扩图功能
在本教程中，您将学习如何在阿里云交互式建模（PAI-DSW）中，使用Stable-Diffusion-WebUI实现AI扩图功能。
阿里云大数据Al技术
124608 6
基于PAI-DSW使用SD WebUI实现AI扩图功能
w风雨无阻w
|
人工智能 物联网
AI 绘画Stable Diffusion 研究（十七）SD lora 详解（上）
AI 绘画Stable Diffusion 研究（十七）SD lora 详解（上）
w风雨无阻w
1429 0
w风雨无阻w
|
存储 人工智能 算法
AI 绘画Stable Diffusion 研究（四）sd文生图功能详解（上）
AI 绘画Stable Diffusion 研究（四）sd文生图功能详解（上）
w风雨无阻w
882 0
w风雨无阻w
|
人工智能 编解码
AI 绘画Stable Diffusion 研究（二）sd模型ControlNet1.1 介绍与安装（2）
AI 绘画Stable Diffusion 研究（二）sd模型ControlNet1.1 介绍与安装
w风雨无阻w
320 0
w风雨无阻w
|
人工智能
AI 绘画Stable Diffusion 研究（五）sd文生图功能详解（下）（3）
AI 绘画Stable Diffusion 研究（五）sd文生图功能详解（下）
w风雨无阻w
450 0
w风雨无阻w
|
人工智能 编解码 C++
AI 绘画Stable Diffusion 研究（二）sd模型ControlNet1.1 介绍与安装（1）
AI 绘画Stable Diffusion 研究（二）sd模型ControlNet1.1 介绍与安装
w风雨无阻w
227 0
w风雨无阻w
|
机器学习/深度学习 人工智能 安全
AI 绘画Stable Diffusion 研究（三）sd模型种类介绍及安装使用详解（1）
AI 绘画Stable Diffusion 研究（三）sd模型种类介绍及安装使用详解
w风雨无阻w
1520 0
带你读小助手
|
机器学习/深度学习 人工智能 开发者
PAI-EAS快速部署AI绘画Stable Diffusion WebUI
在本教程中，您将学习如何使用阿里云模型在线服务（PAI-EAS）的预置镜像，快速部署AIGC Stable Diffusion SDWebUI绘画的AI-Web应用，以及启动WebUI进行模型推理。
带你读小助手
1057 1
弹性计算-百晓生
|
人工智能 弹性计算 物联网
GPU实验室-部署Stable Diffusion玩转AI绘画
在本实验场景中，我们将向大家介绍如何基于 Stable Diffusion 实现文字到图片的生成，包括Stable Diffusion的安装和基本使用方法，以及使用Lora模型调整图片生成的风格。
弹性计算-百晓生
876 0

ModelScope模型即服务

热门文章

最新文章

  • 1
    阿里云通义千问向全社会开放！
  • 2
    multi-agent：多角色Agent协同合作，高效完成复杂任务
  • 3
    Llama 3开源，魔搭社区手把手带你推理，部署，微调和评估
  • 4
    智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
  • 5
    通义千问72B、1.8B、Audio模型开源！魔搭社区最佳实践来啦！
  • 6
    自然语言处理Transformer模型最详细讲解（图解版）
  • 7
    【RAG实践】Rerank，让RAG更近一步
  • 8
    开源版图生视频I2VGen-XL：单张图片生成高质量视频
  • 9
    【机器学习技巧】回归模型的几个常用评估指标（R2、Adjusted-R2、MSE、RMSE、MAE、MAPE）及其在sklearn中的调用方式
  • 10
    vanna+qwen实现私有模型的SQL转换
  • 1
    关于大模型语料的迷思
    16
  • 2
    VideoChat：高效学习新神器！一键解读音视频内容，结合 AI 生成总结内容、思维导图和智能问答
    30
  • 3
    AI Agents Loop异步执行可视化Tutorial 借助AgentBoard工具可视化工作流
    34
  • 4
    今日 AI 开源｜共 12 项｜开源的DIY健康追踪项目，基于低成本的智能戒指构建私人的健康监测应用
    63
  • 5
    Open Interpreter：AI 赋能终端！在终端中对话AI模型进行编程，通过运行代码来完成各种计算机操作任务
    43
  • 6
    AI Shell：在命令行里“对话” AI ，微软推出将 AI 助手引入命令行的 CLI 工具，打造对话式交互命令行
    25
  • 7
    今日 AI 开源｜共 4 项｜DeepSeek 推出新一代 AI 推理模型，实力比肩 OpenAI o1-preview！
    47
  • 8
    最佳实践！使用 GraphRAG + GLM-4 对《红楼梦》全文构建中文增强检索
    36
  • 9
    WebChat：开源的网页内容增强问答 AI 助手，基于 Chrome 扩展的最佳实践开发，支持自定义 API 和本地大模型
    15
  • 10
    Documind：开源 AI 文档处理工具，将 PDF 转换为图像提取结构化数据
    41

    • 相关课程

    更多
  • 基于ASK轻松部署企业级Stable Diffusion
  • 云原生AI套件：五分钟微调宝可梦风格StableDiffusion
  • 云原生AI套件：一键训练大模型及部署GPU共享推理服务
  • AI开发者的Docker实践
  • 使用Higress AI网关优化AI调用成本
  • “堆友”基于Stable Diffusion绘图的提示词原理和概论

    • 相关电子书

    更多
  • 魔搭FaceChain
  • 《阿里云机器学习PAI-DSW入门指南》
  • 阿里云机器学习PAI-DSW入门指南

    • 相关实验场景

    更多
  • 【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
  • 使用PAI+LLaMA Factory微调Qwen2-VL模型，搭建文旅领域知识问答机器人
  • SAE 极速部署专属 AI 证件照神器
  • AI克隆声音，基于函数计算部署GPT-Sovits语音生成模型
  • 【文生图】一键部署Stable Diffusion基于函数计算
  • 在云上部署ChatGLM2-6B大模型（GPU版）
    • 下一篇
    阿里云OSS设置跨域访问